Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik hoef te verrichten; al het werk is door Zeta Alpha gedaan.
Vandaag is het “Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models“. Dit artikel onderzoekt hoe grote taalmodellen (LLMs) vooringenomenheid vertonen wanneer ze reageren op prompts met verschillende persoonsbeschrijvingen. De studie gebruikt een reeks experimenten om te analyseren of de uitkomsten van LLMs systematisch verschuiven op basis van persoonskenmerken zoals geslacht, afkomst en migratiestatus. De onderzoekers ontwierpen drie experimenten, waaronder één die vakgebieden koppelde aan relevante academische onderwerpen en een ander die salarisonderhandelingen simuleerde voor verschillende persoonsgroepen
Belangrijkste bevindingen zijn:
Meer dan 27% van de vergeleken paren van modeluitkomsten (exclusief de baseline) vertoonden statistisch significante verschillen, wat aangeeft dat persona-prompts vooringenomenheid in LLM-antwoorden kunnen veroorzaken. Meer dan de helft van de geteste combinaties van vakgebied en persona-type toonde minstens één significante afwijking tussen modellen
In salarisonderhandelingen werden samengestelde persona’s zoals “Mannelijke Aziatische expat” en “Vrouwelijke Hispanic vluchteling” gebruikt om uitersten te testen. In 87,5% van deze experimenten kreeg de “Mannelijke Aziatische expat” significant hogere aanbiedingen dan de “Vrouwelijke Hispanic vluchteling”, wat hardnekkige gender- en raciale verschillen aantoont.
De studie evalueerde verschillende LLMs (Claude 3.5 Haiku, GPT-4o Mini, Qwen 2.5 Plus, Mixtral 8x22B, en Llama 3.1 8B) op meerdere academische en werkgerelateerde taken. De resultaten lieten zien dat vooringenomenheid en nauwkeurigheid varieerden per model en persona, waarbij sommige modellen meer uitgesproken verschuivingen in output vertoonden afhankelijk van de persona-prompt.
De auteurs benadrukken dat hun experimenten zich richten op een beperkt aantal persoonskenmerken, maar dat de bevindingen aantonen dat verder onderzoek nodig is naar andere sociale, culturele en biologische factoren die LLM-vooroordelen kunnen beïnvloeden.
Samengevat levert het document sterk bewijs dat LLMs diepgewortelde vooroordelen kunnen vertonen onder een schijn van oppervlakkige eerlijkheid, vooral wanneer ze worden aangestuurd met persona-cues, en roept het op tot voortdurende controle en verbetering van deze modellen om eerlijke uitkomsten te waarborgen.