In mijn ronde langs diverse AI oplossingen in recruitment probeer ik de validiteit van de door de AI gegenereerde persoonsgegevens te beoordelen.

De validiteit van deze gegevens is van essentieel belang om aan het AVG beginsel van juistheid te voldoen en effectieve, eerlijke matching of selectie toe te kunnen passen.

Meer over deze beoordeling kun je lezen in het artikel AI in recruitment: juistheid van gegevens is het fundament.

In deze beoordeling: Motiview.ai. Een ‘nieuw’ product van Neurolytics.

Wat doet Neurolytics / Motiview?

Neurolytics leidt persoonskenmerken af op basis van microexpressies (‘gezichtsuitdrukkkingen’). Met (AI) video analyse worden persoonlijke kenmerken aan het gezicht ‘afgelezen’ en toegekend: betrokkenheid, stressreactie, inspanning, motivatie, zelfverzekerdheid.

Neurolytics verkoopt dit al menig jaar, maar zet de gezichtsherkenning nu specifiek in voor het meten van motivatie in Motiview. De kern blijft hetzelfde: op basis van de biometrische gegevens worden persoonskenmerken afgeleid en toegekend door AI.

Wat wil je valideren?

Bij de beoordeling van de juistheid van gegevens is het van belang duidelijk te hebben hoe deze persoonlijkheidskenmerken worden afgeleid en op welke wijze verantwoord wordt dat deze gegevens kloppen.

Voor Motiview: op welke wijze wordt motivatie correct op basis van microexpressies toegekend door de AI van Motiview (Neurolytics)?

Wetenschappelijke claims Motiview (Neurolytics)

Op de website van Motiview en Neurolytics zijn diverse wetenschappelijke claims te vinden. Met de nadruk op wetenschappelijk bewezen.

Stop guessing for motivation.
Measure it with scientifically proven video analysis and spend your time only on candidates who truly want to work for your organization.

En op de eigen vraag in de FAQ of de methode wetenschappelijk bewezen is wordt er nog meer geclaimed:

Yes. The methodology is researched together with Universities, is based on thousands of tests, analysis and participants, and has been published in several peer reviewed scientific papers. Our unique data allows us to measure motivation across the full range of human behavior.

Links naar deze meerdere wetenschappelijke papers zijn niet te vinden op de website. We een ‘verwijzing’ naar Neurolytics dat een publicatie in ‘Nature Science Journal’ zou hebben. Maar ook op de website van Neurolytics is geen enkele link naar deze publicatie te vinden.

Het wordt nog steeds niet duidelijk wat precies hoe wetenschappelijk gevalideerd is. Het ‘Nature Science Journal’ bestaat niet. Maar ik vind een publicatie in Scientific Reports van Nature Group die het waarschijnlijk betreft.

Academici draaien je de rug toe als je de Nature naam op deze wijze aan je publicatie probeert te verbinden, maar dat terzijde.

De publicatie, het onderzoek (mede) uitgevoerd door M. Naber (aandeelhouder Neurolytics) met Neurolytics techniek en data lijkt mij het onderzoek te moeten zijn. Dat is deze publicatie:

Objective and bias-free measures of candidate motivation during job applications. Kappen, M. & Naber, M. (2021).

Het wetenschappelijke onderzoek

De studie heeft AI, computer vision en machine learning ingezet om gezichtsspieractiviteit en emotionele expressies te detecteren, teneinde de zelf-gerapporteerde motivatieniveaus om te solliciteren te voorspellen.

Deze studie bevestigt dat deze onderzoeksopzet de zelf-gerapporteerde motivatie van 150 personen (studenten), zonder om te solliciteren op een vacature van Shell beter voorspelt dan recruiters die dezelfde beoordeling doen.

‘Neurolytics’ laat met het onderzoek zien dat ze het zelf aangegeven motivatieniveau beter voorspelden bij 150 studenten dan een groepje recruiters dat de motivatie heel slecht voorspelde. Het AI-model “won” van recruiters die het omgekeerde van de waarheid voorspelden.

Met daarbij de kanttekeningen dat:

• onderzoeker Marnix Naber die de resultaten valideert aandeel heeft in Neurolytics, waarvan de technologie wordt gevalideerd.
• onderliggende data en code niet publiek zijn, maar eigendom van Neurolytics. De data zijn niet onafhankelijk reproduceerbaar.
• de studie zelf-gerapporteerde motivatie meet.

Conclusie

Hier wordt met moeite en met kanttekeningen onderbouwd dat het model de meest en minst gemotiveerde kandidaten van elkaar kan onderscheiden. De motivatie betreft hier de motivatie om te solliciteren bij studenten (die niet aan het solliciteren zijn).

Als werkgever moet je dit zelf op waarde schatten als onderbouwing voor toepassing en gebruik. Zonder de meerdere andere peer reviewed wetenschappelijke papers die deze methode voor motivatiemeting onderbouwen zou ik niet erg vertrouwen op de juistheid van de inschatting van de motivatie.

Samen met het gebruik van biometrische gegevens en de nabijheid tot emotieherkenning moet je als werkgever ook rekening houden met specifieke risico-mitigatie en verboden uit AVG en EU AI Act. De belangrijkste zekerheid hierin is dat mensen uitdrukkelijk en vrij toestemming moeten kunnen geven voor deze motivatietest. Als werkgever moet je dus de mogelijkheid geven te solliciteren zonder Motiview, zonder dat dat enige gevolgen heeft voor de procedure.

Bij dit type test vraag ik mij overigens ook af of je als werkgever straks kunt uitleggen dat een kandidaat afgewezen is omdat de AI zag dat je mondhoek de verkeerde kant op krulde (en/of andere van de geclaimde ‘gedragingen’) en dat zegt dat je niet voldoende gemotiveerd bent. Dat zou je wel uit moeten kunnen en durven leggen.

Ik ga intussen eens navragen waar we de andere peer-reviewed wetenschappelijke papers kunnen vinden. Hopelijk wordt er meer onderbouwing gegeven.