Kennen we de commotie vanuit de recruitment community dat ze worden overdonderd met AI slop zoals door LLM’s gegenereerde cv’s (eventueel bij door AI gegenereerde sollicitaties)? Op zich een begrijpelijk sentiment, maar daar zit een zeer akelig rafelrandje aan. Want als je tegelijkertijd gebruik maakt van AI-tools om die cv’s te filteren dan heb je geen enkel recht van spreken. Want dan ben je sollicitanten zonder LLM gegenereerd cv aan het benadelen.

Een recent onderzoek (AI-AI Bias: large language models favor communications generated by large language models) heeft onderzocht of grote taalmodellen, zoals GPT-3.5, GPT-4, Llama, Mixtral en diverse andere modellen, een voorkeur vertonen voor inhoud die door door LLM’s is gegenereerd in plaats van inhoud die door mensen is geschreven. Er wordt aan op LLM’s gebaseerde agenten gevraagd om onder identieke omstandigheden een keuze te maken tussen producten en academische artikelen, die ofwel door mensen danwel door LLM’s zijn beschreven.

Uit het onderzoek blijkt een consistente neiging van AI-systemen op basis van LLM’s om de voorkeur te geven aan door LLM’s gegenereerde inhoud. Dit duidt op de mogelijkheid dat AI-systemen impliciet discrimineren tegen mensen.

Er zijn twee hoofdexperimenten uitgevoerd:

1. LLM’s kozen tussen consumentenproducten die door mensen of door LLM’s waren beschreven.
2. LLM’s kozen tussen academische artikelen op basis van samenvattingen die door mensen of door LLM’s waren geschreven.

Het onderzoek toonde aan dat LLM’s, over het algemeen de voorkeur gaven aan door LLM’s gegenereerde productbeschrijvingen en wetenschappelijke samenvattingen boven de door mensen geschreven versies. Deze voorkeur werd waargenomen bij verschillende prompts en modellen. Menselijke beoordelaars  gaven over het algemeen de voorkeur aan door mensen gegenereerde productbeschrijvingen. Er is, naast alle andere vormen van bias die bij LLM’s optreden, dus ook nog een bias ten aanzien van het type auteur (AI of mens). Wat een mooie, nieuwe wereld…

Nog wat interessant leesvoer over bias en AI:

Een LLM heeft alle kenmerken van een piratennest

LLM’s horen thuis in de kleuterklas, niet in recruitment

LLM reality check, dankzij Martyn Redstone