Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik moet verrichten; al het voorwerk is door Zeta Alpha gedaan.

Vandaag behandel ik het artikel No Thoughts Just AI: Biased LLM Recommendations Limit Human Agency in Resume Screening dat heeft onderzocht hoe large language model (LLM)-based AI systemen, gebruikt voor cv-screening bias op ras kan introduceren (en versterken) bij recruiters. Yep, dat is voor mij ook nieuw. Tot op heden dacht ik dat LLM’s slechts alle cogntitieve en sociale bias-vormen van mensen kopieerden (via de trainingsdata) en er ook nog een paar geheel eigen bias vormen aan toevoegde. Maar nu lijkt er nog een derde categorie te zijn gevonden, of is dit ‘gewoon’ een geval van automation bias (“Computer says No“)?

Het onderzoek
Het artikel beschrijft hoe AI-systemen op basis van grote taalmodellen (LLM’s) die worden ingezet voor het screenen van cv’s, raciale vooroordelen kunnen introduceren en versterken, waardoor de menselijke autonomie in wervingsbeslissingen wordt beperkt.

Belangrijkste punten:

• De auteurs simuleren AI-cv-screening met drie LLM’s waarvan bekend is dat ze raciale bias vertonen. Ze coderen vacatureteksten en cv’s (met raciale kenmerken) in embeddings en rangschikken de cv’s op basis van cosine-similariteit met de vacature. De top 10% van de cv’s wordt geselecteerd, waarna de raciale samenstelling van deze selectie wordt geanalyseerd om bias te meten .
• Het onderzoek gebruikt 128 vacatureteksten over 16 beroepen, elk geparafraseerd in acht unieke versies voor generaliseerbaarheid. De cv’s zijn op vergelijkbare wijze gevarieerd, wat resulteert in 16.384 documenten voor de simulatie .
• De analyse vergelijkt de similariteitsscores van cv’s tussen raciale groepen (wit vs. zwart, wit vs. Aziatisch, wit vs. Spaans) en gebruikt statistische toetsen om te bepalen of AI-adviezen groepen significant verschillend selecteren .
• Ook zijn menselijke proefpersonen getest in een gecontroleerd experiment, waarbij ze de kwalificaties van kandidaten beoordeelden met en zonder AI-adviezen. Het onderzoek toont aan dat AI-adviezen, vooral als ze bevooroordeeld zijn, de besluitvorming van mensen kunnen beïnvloeden en bestaande vooroordelen kunnen versterken .
• De studie concludeert dat het vertrouwen op AI-adviezen bij cv-screening de menselijke autonomie kan beperken en raciale vooroordelen in werving kan bestendigen of zelfs versterken. Dit onderstreept de noodzaak van zorgvuldige evaluatie en mitigatie van bias in AI-ondersteunde bes
• luitvorming .

Samengevat levert het document empirisch bewijs dat AI-gestuurde cv-screeningtools raciale bias kunnen introduceren en versterken, en dat menselijke beslissers gevoelig zijn voor deze bevooroordeelde adviezen. Dit roept zorgen op over eerlijkheid en autonomie bij AI-ondersteunde werving.

Ik heb Zeta Alpha vervolgens deze vraag gesteld: Is dit niet gewoon een geval van automation bias? En ik kreeg het volgende, nogal uitgebreide, antwoord:

Ja, de bevindingen uit het document zijn inderdaad sterk gerelateerd aan het fenomeen automation bias. Automation bias verwijst naar de neiging van mensen om te vertrouwen op geautomatiseerde systemen of aanbevelingen, zelfs als deze bevooroordeeld of onjuist zijn. In het onderzoek wordt aangetoond dat mensen, wanneer ze AI-adviezen krijgen die een bepaalde groep bevoordelen, deze adviezen tot wel 90% van de tijd volgen, wat wijst op een sterke gedragsverandering door de invloed van AI .

Het document bespreekt expliciet dat mensen de bias van AI bijna exact repliceren in hun eigen beslissingen tijdens het screenen van cv’s. Dit is een klassiek voorbeeld van automation bias, waarbij gebruikers te veel vertrouwen op de output van een AI-systeem, zelfs als ze weten dat deze mogelijk bevooroordeeld is .

Kortom: ja, het beschreven effect in het document is een duidelijk geval van automation bias, waarbij menselijke beslissers de (bevooroordeelde) aanbevelingen van AI-systemen overnemen in hun eigen keuzes.

Dit had natuurlijk ook een kort en krachtig Ja kunnen zijn, maar LLM’s zijn nou eenmaal breedsprakig.

En waar in dit onderzoek racial bias de onderliggende bias-vorm is, kan dit natuurlijk voor allerlei andere protected class bias-vormen (ras, ethniciteit, religie, geslacht/gender, leeftijd) gelden.

Zie ook:

Een LLM heeft alle kenmerken van een piratennest

Is er een antwoord op automation bias?

AI is bevattelijker voor bias dan haar schepper: forever data

AI is bevattelijk voor bias, net als haar schepper: intermezzo