Eric Sipsma – business psycholoog en coach voor professionals
In juni 2019 heb ik een symposium bijgewoond over assessments en innovatie. In dit symposium, georganiseerd door testontwikkelaar IXLY, spraken Diddo van Zand* (IXLY) en Janneke Oostrom** (VU) over de zin en onzin van technologische ontwikkelingen in assessments. De sprekers wierpen een wetenschappelijke blik op een zestal ontwikkelingen in het vakgebied. Een boeiend symposium. Hieronder een samenvatting en een aantal voorlopige conclusies.
* Diddo van Zand is directeur bij IXLY en nauw betrokken bij de R&D-afdeling. ** Janneke Oostrom is universitair docent aan de VU in Amsterdam. In 2010 promoveerde zij op onderzoek naar moderne multimediatests in personeelsselectie.
1. DNA
Kan een DNA-test aantonen wat voor persoonlijkheid je hebt? Organisatie Braincompass is van mening van wel. Met een DNA-analyse maken zij een persoonlijk biologisch profiel van je op. Hiermee krijg je inzicht in waar je talenten, intuïties en voorkeuren vandaan komen.
Maar het wetenschappelijk bewijs voor het verklaren van persoonlijkheid en gedrag door middel van een DNA-test is nog niet gevonden, aldus Janneke Oostrom. Onderzoek kan wel ‘regio’s’ in genen aanwijzen die het gedrag en persoonlijkheid bepalen maar op het niveau van enkele genen kan dat niet. Er kunnen wel honderden tot duizenden andere genen een rol spelen die het specifieke gedrag van een persoon kunnen verklaren. Daarbij zou ook de ontwikkelingsgeschiedenis van een persoon van invloed zijn op het gedrag, en niet alleen de genen. Tenslotte hoeven niet alle genen, die verantwoordelijk worden gehouden voor bepaald gedrag, per sé tot uiting te komen in gedrag.
De huidige wetenschappelijke bevindingen lijken derhalve aan te geven dat het ongegrond – en zelfs onethisch is – om DNA-analyses in te zetten bij persoonlijkheidsbeoordeling.
2. SOCIALE MEDIA
Het bekijken van een Facebookprofiel was dé standaard manier van werkgevers om iemands persoonlijkheid in te schatten. Inmiddels is er in Nederland wetgeving die het werkgevers en recruiters verbiedt om sociale netwerken van sollicitanten te gebruiken bij de werving en selectie.
In het buitenland ligt dat anders. Bedrijven als Apply Magic Sauce en Crystal Knows kunnen op basis van je digitale voetafdruk (je gedrag op social media, zoals likes, posts, shares, etc.) een persoonlijkheidsprofiel van je opstellen.
Er is onderzoek gedaan naar de mate waarin iemands zelfbeoordeling van zijn eigen persoonlijkheid overeenkomt met de beoordeling door iemand anders op basis van het facebookprofiel. Wat blijkt? Er is enig positief verband gevonden tussen deze twee beoordelingen, maar let wel, dat verband wordt alleen gevonden op groepsniveau. Op individueel niveau is het vrij onbetrouwbaar om hieruit conclusies te trekken. En uit onderzoek blijkt verder dat misleidende informatie in een profiel vaak nog eens op een negatieve manier wordt geïnterpreteerd. Los van het feit dat het vanuit wetgeving verboden is om sociale netwerken te gebruiken, is het dus weinig betrouwbaar. Facebook is uiteraard ook niet bedoeld voor werk gerelateerde beoordelingen.
En LinkedIn dan? Ook hier is onderzoek gedaan naar de inschatting van persoonskenmerken. Voor persoonskenmerken als extraversie en zelfpresentatie klopt de inschatting tussen personen redelijk, maar voor andere persoonskenmerken helemaal niet. Bovendien is er geen relatie gevonden met werkprestaties. Voor de selectiepraktijk hebben sociale media beoordelingen dus geen voorspellende waarde.
3. ALGORITMEN
Artificiële Intelligentie (AI) wordt steeds vaker ingezet als eerste filter in sollicitatieprocedures. Bedrijven als ING en Unilever werken er mee. Bij grote groepen sollicitanten – denk aan 2000 aanmeldingen voor een traineeprogramma – is deze technologie een heuse uitkomst. Het is erg tijdrovend en duur om alle aanmeldingen door recruiters te laten beoordelen. AI kan uit duizenden kandidaten enkele tientallen mensen selecteren voor een interview. Het gaat dan wel om een eerste selectie uit een grote groep sollicitanten.
Sollicitanten ervaren deze vorm van selectie vaak als eerlijk en objectief. Een selecteur kan een subjectief oordeel hebben, zoals een voorkeur voor een bepaalde universiteit. Dat effect sluit je met AI uit. AI kijkt naar iemands vaardigheden, talenten en kwaliteiten. Het grote voordeel is dat sollicitanten met een andere culturele of etnische achtergrond gelijk worden behandeld.
Samenvattend heeft AI een aantal voordelen: het is tijdbesparend, kostenefficiënt, het vergroot de diversiteit op de werkvloer en helpt de beste kandidaten te selecteren.
Aan het werken met data en gebruiken van algoritmen kleven wel risico’s. Er kan een mogelijke bias in het algoritme zitten.
Amazon is daar een voorbeeld van. Op basis van Cv’s en eerdere selectie van de honderdduizenden mensen die voor Amazon werken, deed het algoritme aanbevelingen over wie men moest aannemen. Het algoritme had een serieuze onderwaardering voor vrouwen. Amazon is daarom gestopt met zijn selectie-algoritme.
Het risico is dat we algoritmen blindelings volgen. Het is belangrijk dat weten hoe algoritmen werken, wat de input is bij het ontwerp van algoritmen en hoe de data wordt verwerkt.
Janneke Oostrom geeft aan dat een goede theoretische basis heel belangrijk is bij selectie-algoritmen. Zonder theorie is het onduidelijk waarom variabelen relevant zijn. Ook kun je anders geen ondubbelzinnige feedback geven aan kandidaten. Wil AI het selectieproces dus echt veranderen, dan moet de validiteit en betrouwbaarheid van AI wetenschappelijk gegrond zijn.
4. MICRO-EXPRESSIES
Kun je persoonlijkheid afmeten aan de hand van micro-expressies in iemands gezicht? Het Nederlandse bedrijf Clearwater Skyfields pretendeert van wel. Met een korte video van enkele minuten, waarbij deelnemers eenvoudige vragen krijgen voorgelegd, kunnen zij korte gezichtsuitdrukkingen meten. Micro-expressies zijn korte spierbewegingen in het gezicht die een halve seconde of korter duren. Micro-expressies verschijnen vooral ongemerkt op ons gezicht en drukken emoties uit die we op dat moment voelen. Met het beoordelen van micro-expressies zou je een persoonlijkheidsprofiel kunnen opstellen.
Volgens Oostrom is er geen valide bewijs voor de relatie tussen de uiting van micro-expressies en persoonlijkheidstrekken. Persoonlijkheidsdimensies als ‘extraversie’ en ‘neuroticisme’ die tot uiting zouden komen in positieve dan wel negatieve emoties zijn wetenschappelijk gezien niet onomstotelijk bewezen. Er is wel een enige aanwijzing hiervoor, maar op basis van deze emoties kun je sollicitanten zeker niet selecteren.
Daarbij komt dat de persoonlijkheidsdimensie ‘consciëntieusheid’ – die zegt iets over hoe georganiseerd, gedreven en accuraat iemand is – niet tot uiting komt in emotie. Micro-expressies dekken niet dus het volledige persoonlijkheidsspectrum, als zij al iets zeggen over iemands persoonlijkheid.
Bij het analyseren van micro-expressies bestaat overigens de kans dat iemand vals wordt beschuldigd. Een inconsistentie tussen de gezichtsuitdrukking en de emotie die iemand op een meer bewust niveau beleeft, hoeft niet te betekenen dat iemand per definitie liegt. Een inconsistentie kan ook het gevolg zijn van de verhoogde motivatie om zenuwen onder controle te houden.
Volgens Oostrom moeten we dus heel voorzichtig zijn in de interpretatie van deze micro-expressies. Op z’n hoogst kunnen zij aanleiding geven om tijdens het opvolgende interview naar extra gedragsvoorbeelden te vragen.
5. LINGUISTIEK
Kan taal- en woordgebruik iets zeggen over je persoonlijkheid? Het bedrijf Seedlink houdt zich hiermee bezig. Seedlink zet kunstmatige intelligentiesoftware in om organisaties te helpen de toekomstige werkprestaties van sollicitanten te voorspellen.
Hun technologie maakt gebruik van taalanalytische algoritmen. Zij stellen eerst een profiel samen van de best presterende medewerkers (interne toppresteerders) op basis van hun taalkenmerken. Hierin worden ook een aantal cruciale gedragskenmerken beschreven. De algoritmen ‘matchen’ vervolgens het profiel van de sollicitanten met het profiel van deze high-performers. Degenen die meer gelijkenis vertonen met het profiel, worden meer geschikt geacht voor het werk dan degenen die dat niet doen. Het is mij niet bekend of het ook duidelijk is waarom high-performers bepaalde woorden vaker gebruiken of hun zinnen anders opbouwen. In ieder geval herkent het algoritme een verband.
Een ander bedrijf, genaamd TalentSwot, heeft een chatbot ontwikkeld die sollicitatiegesprekken kan voeren. Op basis van de antwoorden van de deelnemer wordt er een persoonlijkheidsprofiel opgemaakt.
Wat zegt wetenschappelijk onderzoek hierover? Er is enigszins positief verband tussen de zelfbeoordelingen van iemands persoonlijkheid en de automatische scoring van taal. Maar dit verband is weinig onderzocht in selectie-situaties. Veel bewijs is er dus nog niet voor het voorspellen van werkprestaties. Recentelijk onderzoek, dat zich wel richt op selectie-interviews, toont aan dat automatische scoring van persoonlijkheid – op basis van tekst – de werkprestatie kan voorspelen. Dus hoe vaker iemand bepaalde woorden gebruikt die duiden op een persoonlijkheidskenmerk, hoe sterker dit een voorspeler lijkt te zijn voor toekomstig gedrag. Al met al lijken linguïstische assessments een interessante ontwikkeling.
Mijn vraag is in hoeverre je een gesprek kunt sturen of manipuleren door bepaald taalgebruik. En of personen met een grotere taalvaardigheid in het voordeel zouden zijn bij taalanalytische algoritmen.
6. VIDEO-ASSESSMENT & GAMIFICATION
Game-based assessments of gamification wordt steeds vaker in het recruitmentproces toegepast. Een game-based assessment is een leukere en meer toegankelijke manier voor werkgevers om de geschiktheid en persoonlijkheidstrekken van kandidaten te beoordelen. In wezen is het een alternatief voor traditionele psychometrische tests. De games beoordelen iemands algemene cognitieve vermogens, zoals redeneren, probleemoplossend vermogen, verbaal en numeriek vermogen maar ook persoonlijkheidskenmerken.
Het bedrijf Arctic Shores biedt de game ‘Skyrise City’ aan. Op basis van resultaten van de kandidaat krijg je inzicht in 30 persoonlijkheidskenmerken en zijn of haar capaciteiten. Het bedrijf zegt beproefde methoden uit de psychometrie te gebruiken om betrouwbare en valide voorspellingen te doen. En het bedrijf BrainsFirst meet via de game Neurolympics hoe snel en efficiënt je denkt, hoe gemakkelijk je af te leiden bent en hoeveel informatie je kunt verwerken. Ook het bedrijf iamProgrez werkt met gamification technologie.
Deze games zijn met name ideaal voor de eerste selectieronde van kandidaten. Op basis van deze data is het mogelijk om al vroeg in je selectieproces te kijken welke kandidaten passen bij je organisatie en functie(s). Bovendien wordt het recruitmentproces een stuk aantrekkelijker door gamification. Uit evaluaties blijkt dat kandidaten veel plezier beleven tijdens het maken van game-based assessments.
Volgens Oostrom neemt de eerlijkheid van de test, zoals ervaren door kandidaten, toe wanneer je hen laat kiezen hoe zij antwoord wil geven (mondeling, schriftelijk, meerkeuze, e.d.). Video-assessments zoals Situational Judgement Tests zijn meer gestandaardiseerd dan game-based assessments, die weer meer realistisch zijn.
Oostrom opteert om predictieve modellen te koppelen aan HR Analytics. Op basis van grote groepen werknemers kun je profielen samenstellen, die data leveren voor modellen. Als organisatie ben je daardoor beter in staat om te bepalen waarom kandidaten bij je organisatie willen werken of juist willen verlaten.
Conclusies
Een zeer interessant symposium. Na deze middag ben ik ervan overtuigd dat een aantal geavanceerde selectiemethoden een prominente rol gaan spelen in de toekomst. Gamification, video-assessments, linguïstische assessments, algoritmen en machine learning zullen een stevigere plek gaan krijgen de wereld van assessment centers. Deze innovaties zullen er aan bijdragen dat de juiste persoon op de juiste plaats komt. Maar voordat het zover is, is gedegen onderzoek nodig naar de betrouwbaarheid en validiteit van deze technologische innovaties. Zoals Oostrom stelt is het belangrijk om correcte, professionele en ethisch verantwoorde methoden te gebruiken, aangezien de resultaten verstrekkende gevolgen hebben voor sollicitanten.
De toekomst van de assessmentpsycholoog
Naar mijn mening blijft de assessmentpsycholoog bij deze technologische innovaties een waardevolle adviseur. Iemand die de uitkomsten van geavanceerde selectiemethoden kan toelichten en daarbij waardevolle informatie uit het selectie-interview en praktijksimulaties kan integreren. Maar ook een adviseur die verder kijkt dan alleen de tests. Die een sparringpartner is voor medewerkers èn organisaties. Een adviseur die bespreekt wat testresultaten betekenen voor de ontwikkeling van medewerkers, teams en organisaties. Die inzichten biedt en heldere adviezen aanreikt. Maar bovenal contact maakt van mens tot mens.
Eric Sipsma, Registerpsycholoog NIP
Meer weten over een assessments?
Bel 085 – 876 89 81
Deel deze pagina met bekenden
