Gibt es formelle Untersuchungen zur Wirksamkeit von FizzBuzz-Fragen? [geschlossen]

23

Nachdem ich diese Frage heute in Bezug auf die Variation der FizzBuzz-Interviewfrage sowie andere damit zusammenhängende Fragen gesehen habe, muss ich fragen: Gibt es eine formale Untersuchung darüber, wie effektiv dies als Interviewtechnik ist? Es gibt viele Leute, die sagen, dass es einen verrückt klingenden Prozentsatz der Kandidaten herausfiltert (in einigen Fällen 95% +), aber wie gut ist es, gute Programmierer / Entwickler zu finden?

Es wurden Untersuchungen durchgeführt, die belegen, dass Soft Skills bessere Indikatoren für die Auswahl eines guten Kandidaten für eine berufliche Rolle sind als Hard Skills . Es kann auch einige Zwischengründe dafür geben, dass so viele Kandidaten diesen Test nicht bestehen (Nervosität, der Gedanke, dass es sich um einen Trick handelt usw.).


Ausgehend von den bisherigen Kommentaren sieht es so aus, als ob die Idee hinter den FizzBuzz-Fragen darin besteht, festzustellen, ob die Person über ausreichende (ausreichende) Codierungsfähigkeiten verfügt, um weiter berücksichtigt zu werden. Ich bin nicht ganz davon überzeugt, dass FizzBuzz dies tatsächlich tut. Denken Sie auch daran, dass FizzBuzz einen sehr großen Prozentsatz der Kandidaten sehr früh im Einstellungsprozess filtert , was dazu führen kann, dass eine erhebliche Anzahl guter Kandidaten frühzeitig entfernt wird, da sie alberne Probleme nicht schnell genug lösen können.

Außerdem möchte ich darauf hinweisen, dass die Effektivität von FizzBuzz vollständig quantitativ untersucht werden kann. Dies ist im Gegensatz zu "fit" oder "passion", die sehr unterschiedlich und sehr unwissenschaftlich sind (aber immer noch sehr wichtig für neue Einstellungsentscheidungen).

joshin4colours
quelle
16
Ich möchte keinen Kandidaten einstellen, der FizzBuzz nicht nervös codieren kann.
Eric Wilson
Darauf weist auch der Artikel, den Sie verlinken, nicht hin. Dies weist darauf hin, dass die dort eingestellten Mitarbeiter eine hohe Abbrecherquote aufweisen. Es gibt aber absolut keine Daten zu denjenigen, die abgelehnt wurden. Für mich bedeutet dies, dass die Unternehmen wahrscheinlich gute Arbeit darin leisten, die nicht-technischen Personen auszusondern (da dies der Schwerpunkt ihrer Interviews war), die diese Aufgabe nicht erfüllen konnten, aber sie müssen zusätzliche Filter für die Personen durchführen, die sich weigern zu lernen oder sich weigern, sich als Teammitglieder zu verhalten
Martin York
2
@JMG: Du musst genauer sein (das Gegenteil von was genau). Wenn sie den technischen Teil des Jobs (harte Fähigkeiten) nicht machen können, warum würden Sie denken, dass sie irgendeine Chance hatten? Wenn Sie Leute einstellen, die per Definition nicht die Arbeit verrichten können, für die sie eingestellt wurden, denken Sie nicht, dass die Abbrecherquote 100% betragen würde. In unseren Interviewprozessen haben wir bestimmte Abschnitte, um zu prüfen, ob der Kandidat gut zum Team und zum Unternehmen passt. Aber egal wie sehr wir sie persönlich mögen, es hat keinen Sinn, eine Person ohne die Codierungsfähigkeiten einzustellen.
Martin York
3
Also als Antwort auf if their hard skills was weighted more evenly with their soft skills. Nein . Die harte Kunst wird ein Filter sein. Die Soft Skills sind ein zusätzlicher Filter. Es ist kein Sie-Fall, in dem Sie haben können, was A or BSie haben müssen A and B. Auf diese Weise habe ich den Artikel gelesen, den Sie verlinkt haben. Sie haben bereits nach A gefiltert. Sie haben gerade einen schlechten Job beim Filtern nach B gemacht.
Martin York

Antworten:

14

Es ist schon lange her , seit ich auf Job - Interview Forschung nachlesen, (so kann ich nicht Website Besonderheiten, für die ich entschuldige mich) , aber die allgemeine Regel ist , dass die Menschen mieten auf Basis von Soft Skills , aber es gibt keine Korrelation zwischen diesem und Performance. Tests für bestimmte Fähigkeiten können funktionieren, für die Persönlichkeit nicht (nach messbaren Daten).

Fast jeder glaubt, dass ihre speziellen Interviewtechniken funktionieren. Die Daten besagen, dass Sie sich wahrscheinlich nicht um Interviews kümmern sollten (der Teil des Interviews, in dem Sie mir von sich erzählen, im Gegensatz zu objektiven Tests), da die von den Interviewern ausgewählten Kandidaten nicht besser sind, aber die Interviewer dies zeigen Vorurteile gegenüber Extrovertierten, Personen, die dem Interviewer demografisch ähnlich sind, große Personen, attraktive Personen usw. (Vermutlich sollten Sie Personen einstellen, die bei Tests gut abschneiden und im Rest des Interviews schlecht abschneiden, da sie anscheinend genauso gut im Job sind, aber fällt es Ihnen möglicherweise schwerer, Ihr Unternehmen zu verlassen).

Ich erwarte, dass ich dafür geflammt werde, normalerweise sagt jeder, dem ich das sage, "aber wir verwenden Methode X und es funktioniert wirklich für uns", aber es sei denn, Sie

  1. Stellen Sie Leute ein, die Ihren Bewerbungsprozess nicht bestehen.

  2. Sagen Sie ihren Mitarbeitern nicht , wer bestanden hat und wer nicht und

  3. Vergleichen Sie die Leistung derjenigen, die bestanden haben, mit denen, die nicht bestanden haben, und verwenden Sie dabei zuvor vereinbarte objektive Kriterien

Sie haben wirklich keine Ahnung, ob Ihr Prozess funktioniert. Leider ist die Wirksamkeit der Befragung von Natur aus schwer zu beurteilen.

Wenn Sie sich fragen, werden Sie in Experimenten beispielsweise gebeten, Kandidaten anhand von Interviewprotokollen von Kandidaten zu bewerten, die (neben vielen anderen Techniken) bereits eingestellt wurden. Im Idealfall lassen Experimentatoren Personen interviewen, Kandidaten auswählen, die Erinnerung des Interviewers löschen, zufällig aus den Kandidaten auswählen, wer eingestellt werden soll, und die Leistung des Kandidaten anhand genauer, objektiver Kriterien mit den von den Interviewern abgegebenen Bewertungen vergleichen. Dies ist jedoch der Fall schwer zu ziehen.

Also, obwohl ich nicht FizzBuzz spezifische Forschung gesehen, es ist die Art von Sache , die Wirksamkeit in wissenschaftlichen Tests zeigen. Wenn es 95% der Kandidaten aussortiert, wäre ich gespannt, warum - es wurde erfunden, um so absurd einfach zu sein, dass nur ein inkompetenter Programmierer es nicht bestehen konnte, und es ist schwer zu verstehen, wie man FizzBuzz dumm macht. Ich frage mich, wie viel Prozent den "Hallo Welt" -Test bestehen. Der Test "Lass den Computer etwas tun, irgendetwas"?

bA
quelle
+1 Deshalb stelle ich die Frage: Einstellungen sind von Natur aus sehr unwissenschaftlich, aber die Wirksamkeit von FizzBuzz konnte zumindest quantitativ getestet werden.
Joshin4colours
@psr: Meiner Erfahrung nach können 90% der Befragten, die neue Absolventen in den USA, BSCS oder MSCS interviewen, nicht programmieren. Warum? Weil die Institutionen einen finanziellen Anreiz haben, sie im Studiengebührenprogramm zu halten.
Kevin Cline
1
@ Kevin Cline: Ich komme irgendwie vom Thema ab, aber in meinem MSCS glaube ich nicht, dass sie sich auf das Endergebnis konzentriert haben. Sie waren jedoch äußerst bemüht, sich als akademisches Programm gegen eine Handelsschule abzugrenzen , und so schauten viele Professoren ein wenig auf bloße Programmierung herab, anstatt beispielsweise wirklich Kleinigkeiten an Turing-Maschinen zu beweisen.
PSR
Ich denke, Sie übersehen die Tatsache, dass das Ziel der Leute, die einstellen, nicht darin besteht, die bestmögliche Übereinstimmung zu finden, sondern nur zu versuchen, eine Katastrophe zu vermeiden. Selbst in wirtschaftlich guten Zeiten sind die Menschen, die Arbeitsplätze anbieten, mit Bewerbern überhäuft, von denen viele hoffnungslos ungeeignet sind. Sie müssen einfach einen schnellen Filter haben, um die Anzahl der Bewerber auf eine überschaubare Anzahl zu reduzieren. Der ursprüngliche Zweck des Fizbuzz-Tests bestand darin, ihn als Teil eines Telefonbildschirms durchzuführen. Wenn der Pool der Leute, die an Fizzbuzz vorbeikommen, für Leute, die tatsächlich codieren können, sogar leicht angereichert ist, ist dies eine Hilfe.
Charles E. Grant
@Charles E. Grant - Ich verstehe FizzBuzz - Ich benutze solche Fragen tatsächlich beim Interviewen (die meisten gehen jedoch vorbei). Ich reagiere vor allem auf den (sic) „soft skills könnte Indikatoren als harte Fähigkeiten sein“, die ich habe für relevante Forschung zu lesen, und in der Forschung Soft Skills in einem Interview geholfen, aber nicht , um Hilfe bei der Arbeit gezeigt werden kann. Genauer gesagt, konnten die Interviewer keine Kandidaten identifizieren, die im Job effektiv wären, wenn sie versuchten, sie anhand von Soft Skills zu identifizieren.
PSR
33

Der Zweck von Fizzbuzz ist nicht, gute Programmierer zu finden, sondern eine bestimmte Klasse von schlechten Programmierern, also Leute, die keinen einfachen Algorithmus implementieren können. Ihre Frage ist ungefähr so, als würden Sie fragen, wie viele Nascar-Champions bei ihren Führerscheinprüfungen ermittelt wurden. Es gibt eine Menge Mittelweg zwischen jemandem, den Sie definitiv nicht einstellen möchten, und jemandem, den Sie definitiv haben.

Es gibt andere Klassen von "schlechten" Programmierern, die andere Identifikationsmethoden benötigen, wie diejenigen, die eine bestimmte Sprache nicht beherrschen oder Verhaltensprobleme haben. "Fizzbuzz-Bad" -Programmierer sind jedoch fast überall unerwünscht, weshalb der Test so häufig empfohlen wird. Ob ein Programmierer, der zu territorial ist oder Fähigkeiten in eine neue Sprache übertragen muss, "gut" oder "schlecht" ist, hängt viel mehr von den Bedürfnissen und Vorlieben des einzelnen Arbeitgebers ab.

Karl Bielefeldt
quelle
2
Aber was macht einen "schlechten" Programmierer aus? Möchten Sie jemanden, der ein hervorragender Programmierer ist, aber eingecheckte Änderungen an "seinem" Code in einem Projekt entfernt? Oder jemand, der vielleicht ein bisschen Hilfe braucht, um von C nach Java zu wechseln, sich aber voll und ganz dem Projekt widmet?
Joshin4colours
4
@JMG: Es gibt eine Denkschule, die uns mitteilt "Du willst auch nicht". Wenn sie einige unkooperative Gewohnheiten wie die letztere haben, dann "No Hire"; wenn sie keine gemeinsamen, aber benötigten Fähigkeiten haben "No Hire". Wenn es etwas an dem Kandidaten gibt, das Sie überhaupt zögern lässt, ihn für dieses Projekt einzustellen "No Hire"
SingleNegationElimination
@TokenMacGuy Ich denke, dass die Schule von obwohl die "Near Infinite Time and Resources" Schule genannt werden sollte :)
joshin4colours
@ Karl kannst du das wieder in deine Antwort einbauen?
5

Bei FizzBuzz geht es nicht darum, gute Programmierer zu identifizieren, sondern darum, schlechte / falsche zu eliminieren. Wenn ein Kandidat den FizzBuzz-Test nicht bestehen kann, kann er nicht programmieren und sollte sich nicht für eine Programmierposition bewerben.

nicholaides
quelle