Noise en Thinking, Fast and Slow: Kahneman voor recruiters

Laatst bijgewerkt · David Schrooten

Als ik recruiters één auteur zou moeten aanraden, is het Daniel Kahneman. Hij schreef geen boek over werving, maar zijn werk over oordelen en beslissen gaat over precies wat wij elke dag doen: op basis van weinig informatie voorspellen hoe iemand gaat presteren. En hij begon zijn loopbaan met een selectie-interview. In deze blog lees je wat zijn twee bekendste boeken recruiters leren. De volledige leeslijst staat bij boeken voor recruiters.

Een luitenant van 21 en een interview voor een heel leger

In 1955 kreeg Kahneman, toen een 21-jarige luitenant in de psychologische dienst van het Israëlische leger, een opdracht: ontwikkel een methode om alle rekruten voor gevechtseenheden te interviewen. Hij beschrijft het in zijn autobiografie voor de Nobelprijs (Nobelprize.org) en later in Thinking, Fast and Slow.

Het bestaande systeem werkte slecht. Interviewers vormden een algemene indruk van een rekruut en gaven daarna een cijfer voor hoe goed hij het zou doen. Die cijfers voorspelden vrijwel niets.

Kahneman had net het boek van Paul Meehl gelezen, waarin Meehl liet zien dat een vaste formule beter voorspelt dan het oordeel van een expert. Hij ontwierp een gestructureerd interview: feitelijke vragen over het burgerleven, waarmee de interviewers zes persoonlijkheidskenmerken apart moesten scoren. Pas na die zes scores mochten ze een algemeen oordeel geven, in elke vorm die ze wilden.

De interviewers waren er niet blij mee. Ze voelden zich gereduceerd tot robots. Toch voorspelde het nieuwe interview veel beter. Kahneman herinnert zich een correlatie van ongeveer 0,30, tegenover ongeveer 0,10 met de oude methode. Het opvallendste: het algemene oordeel aan het eind, gegeven na het gestructureerde deel, voorspelde het beste van alles. Kahneman vat het samen in één zin: “Trying to be reliable had made them valid.”

Daar zit voor recruiters de hele les. Intuïtie is waardevol, maar pas nadat je eerst gestructureerd informatie hebt verzameld en losse kenmerken apart hebt gescoord.

Bias: systematisch verkeerd

Thinking, Fast and Slow gaat over twee manieren van denken. Systeem 1 is snel, automatisch en intuïtief. Systeem 2 is langzaam en bewust. Systeem 1 zit vaak goed, maar maakt voorspelbare fouten. Dat zijn biases.

In een sollicitatiegesprek zie je er een paar steeds terug.

Het halo-effect

Eén opvallende eigenschap kleurt je oordeel over de rest. Een kandidaat die zelfverzekerd binnenkomt, krijgt ook hogere scores voor vakkennis en samenwerken. Een kandidaat die zenuwachtig begint, moet zich de rest van het gesprek terugvechten. Zie halo-effect.

Bevestigingsbias

Je vormt in de eerste minuten een indruk en zoekt daarna naar bewijs dat die indruk klopt. Je vraagt door bij antwoorden die je beeld bevestigen en laat de rest gaan. Zie confirmation bias.

Verankering

Het eerste getal dat je hoort, trekt je oordeel naar zich toe. Kahneman beschrijft in Thinking, Fast and Slow hoe zelfs een willekeurig getal schattingen beïnvloedt. In werving zie je het bij salaris: wie eerst hoort wat een kandidaat nu verdient, doet een bod dat daar dichtbij ligt, ongeacht wat de functie waard is. Ook een eerste score van een collega werkt als anker voor de rest van het panel.

De illusie van validiteit

Kahneman bedacht deze term in het leger. Hij en zijn collega’s beoordeelden kandidaat-officieren tijdens een groepsoefening en waren overtuigd van hun oordeel. De cijfers lieten zien dat hun voorspellingen nauwelijks beter waren dan gokken. Ze bleven toch even zeker. Herken je dat na een goed gesprek?

Onderzoek van Dana, Dawes en Peterson uit 2013 laat iets vergelijkbaars zien bij ongestructureerde interviews: beoordelaars vinden altijd een samenhangend verhaal, ook als de antwoorden willekeurig zijn (Judgment and Decision Making). Meer daarover in het onderbuikgevoel in een sollicitatiegesprek.

Ruis: willekeurig verkeerd

In Noise, geschreven met Olivier Sibony en Cass Sunstein, gaat Kahneman een stap verder. Bias is een fout die steeds dezelfde kant op gaat. Ruis is willekeurige spreiding: twee beoordelaars die hetzelfde dossier verschillend beoordelen, of één beoordelaar die op maandag anders oordeelt dan op vrijdag.

Het bekendste voorbeeld in het boek komt uit een verzekeringsbedrijf. Achtenveertig acceptanten kregen dezelfde fictieve dossiers en moesten een premie bepalen. De leiding verwachtte verschillen van ongeveer tien procent. Het mediane verschil tussen twee willekeurige acceptanten was 55 procent. Kahneman en zijn collega’s noemen zo’n meting een noise audit, en beschreven het idee eerder in de Harvard Business Review.

Vertaal dat naar werving. Twee recruiters lezen hetzelfde cv, of twee interviewers spreken dezelfde kandidaat. Hoe vaak komen ze tot hetzelfde oordeel? De meeste organisaties weten het niet, omdat ze het nooit meten.

Ruis zie je niet in één beslissing. Je ziet het pas als je meerdere oordelen over hetzelfde naast elkaar legt. Daarom is het zo hardnekkig.

Hoe ruis in werving eruitziet

Ruis zit op meer plekken dan je denkt. Een paar voorbeelden die je waarschijnlijk herkent.

De volgorde van kandidaten. Een gemiddelde kandidaat na drie zwakke gesprekken lijkt sterk. Dezelfde kandidaat na drie sterke gesprekken lijkt zwak. Het oordeel hangt af van wat er toevallig voor kwam.

Het tijdstip. Een cv dat je om negen uur ‘s ochtends leest, krijgt misschien een andere beoordeling dan hetzelfde cv om vijf uur ‘s middags, na een dag vol vergaderingen. Kahneman en zijn coauteurs noemen dat ruis binnen één beoordelaar.

De interviewer. De ene hiring manager is streng en geeft zelden een vier op een schaal van vijf. De andere is mild en geeft bijna iedereen een vier. Leg je die scores naast elkaar, dan vergelijk je de interviewers in plaats van de kandidaten.

De vragen. Als elke interviewer zelf bedenkt wat hij vraagt, krijgt elke kandidaat een ander gesprek. Dan meet je bij de ene kandidaat iets anders dan bij de andere.

Bias kun je soms wegnemen door bewust tegen te sturen. Ruis niet: die gaat alle kanten op en middelt in één gesprek niet uit. Je vermindert hem alleen door het proces zelf te veranderen.

Wat je verandert in je proces

Kahneman en zijn coauteurs geven in Noise een aanpak die ze het mediating assessments protocol noemen. Het lijkt sterk op wat Kahneman in 1955 deed: verdeel een beslissing in losse onderdelen, beoordeel elk onderdeel apart en zo onafhankelijk mogelijk, en vorm pas aan het eind een totaaloordeel. In het mediating assessments protocol lees je hoe je dat in werving toepast.

Een paar principes die je meteen kunt gebruiken:

  • Structureer het gesprek. Dezelfde vragen voor elke kandidaat, in dezelfde volgorde. Zie het gestructureerde interview.
  • Scoor per competentie, direct na het antwoord. Zo voorkom je dat één sterk moment je hele oordeel kleurt.
  • Oordeel onafhankelijk. Laat elke interviewer zijn scores invullen voordat je met elkaar praat. Wie eerst praat, beïnvloedt de rest.
  • Stel je totaaloordeel uit. Geef pas aan het eind een algemeen oordeel. Kahnemans interviewers deden dat ook, en juist dat oordeel bleek het meest voorspellend.
  • Combineer met een vaste formule. Onderzoek van Kuncel en collega’s laat zien dat een vaste formule voor het combineren van scores beter voorspelt dan holistisch wegen (Journal of Applied Psychology, 2013). Zie mechanisch combineren.

Een eigen noise audit in vijf stappen

  1. Kies vijf cv’s voor een vacature die je vaak invult.
  2. Laat drie of vier recruiters of hiring managers ze los van elkaar scoren op dezelfde criteria, zonder te overleggen.
  3. Leg de scores naast elkaar. Hoe groot zijn de verschillen per cv?
  4. Bespreek de grootste verschillen. Waar keek iedereen naar? Welke criteria interpreteerde iedereen anders?
  5. Scherp je criteria aan en herhaal de oefening over drie maanden.

De kans is groot dat de verschillen groter zijn dan je verwacht. Dan weet je in elk geval waar je moet beginnen.

Wil je zelf lezen, begin dan met hoofdstuk 21 en 22 van Thinking, Fast and Slow, over intuïtie en formules, en daarna met het deel over selectie in Noise. Meer titels vind je in de boekenlijst.

Markdown-versie