Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik moet verrichten; al het voorwerk is door Zeta Alpha gedaan.

Vandaag behandel ik het artikel Which Humans? van het Department of Human Evolutionary Biology, Harvard University, en daarmee is dit artikel natuurlijk boven elke twijfel verheven. Hier is een samenvatting van dit artikel:

Het document onderzoekt de psychologische vooringenomenheid in grote taalmodellen (LLMs) zoals GPT-3 en GPT-4, met speciale aandacht voor de culturele oorsprong van hun trainingsdata. De auteurs stellen dat het vergelijken van LLMs met “de mens” misleidend is, omdat dit de enorme psychologische diversiteit onder mensen wereldwijd negeert. De meeste LLMs zijn getraind op data afkomstig van mensen uit Westerse, Opgeleide, Geïndustrialiseerde, Rijke en Democratische (WEIRD) samenlevingen, die psychologisch gezien buitenbeentjes zijn op wereldschaal.

Belangrijkste bevindingen:

• LLMs reageren op psychologische metingen als buitenbeentjes vergeleken met grootschalige cross-culturele data, en hun prestaties lijken het meest op die van mensen uit WEIRD-samenlevingen. De prestaties nemen af naarmate de culturele afstand tot WEIRD-populaties groter wordt.
• De trainingsdata van LLMs zijn sterk WEIRD-gericht, omdat Engelstalige en internetpopulaties oververtegenwoordigd zijn in de bronnen. Dit wordt nog versterkt door pogingen tot debiasing die niet de volledige breedte van menselijk gedrag en waarden weerspiegelen.
• Met behulp van de World Values Survey (WVS) tonen de auteurs aan dat GPT’s antwoorden het dichtst bij de Verenigde Staten en Uruguay liggen, en het verst afstaan van landen als Ethiopië, Pakistan en Kirgizië.
• In cognitieve taken, zoals de “triad task” (die analytisch versus holistisch denken meet), denkt GPT het meest als mensen uit WEIRD-landen, vooral Nederland, Finland, Zweden en Ierland.
• Wanneer GPT wordt gevraagd de “gemiddelde persoon” te beschrijven, weerspiegelen de antwoorden een WEIRD-perspectief, met nadruk op persoonlijke eigenschappen in plaats van sociale rollen of familiebanden, wat juist typerend is voor minder-WEIRD populaties.
• De auteurs waarschuwen dat naarmate LLMs meer worden geïntegreerd in de samenleving, hun WEIRD-bias grote maatschappelijke gevolgen kan hebben. Ze pleiten voor meer aandacht voor de diversiteit van trainingsdata en annotators, en waarschuwen dat simpelweg grotere modellen bouwen het probleem niet oplost zolang de data WEIRD-gericht blijft.

Samengevat benadrukt het document het belang van de vraag “Which Humans?” wanneer LLMs met menselijke psychologie worden vergeleken, en roept het op tot inspanningen om de culturele en taalkundige bronnen van trainingsdata te diversifiëren zodat ze de wereldwijde menselijke diversiteit beter weerspiegelen.

Deze bevindingen sluiten in mijn optiek naadloos aan bij het gedachtengoed van Empire of AI (Karen Hao), The Algorithm (Hilke Schellman), Techno Feudalism (Yanis Varoufakis), en Data Grab (Ulises Mejias en Nick Couldry). Helaas is onze wereld overbevolkt met marketeers, AI slangenolie verkopers en uitsluitend financieel gedreven daicots die met elkaar zoveel ketelmuziek maken dat elk inhoudelijk argument wordt overstemd. En als C-level werknemers hun gebruikelijke fad surfing in de boardroom tentoon spreiden is er geen kruid meer tegen gewassen en verdwijnt elke nuance uit de discussie.

Om toch positief af te sluiten: We hoeven alleen nog maar te wachten op de onvermijdelijke implosie. Ik moet denken aan een reclameboodschap in Silicon Valley ten tijde van de dot com crash:

Yesterday you were a 26 year old millionaire – today you are just 26 years old

Amen