Marc Drees 
Vrijblijvend leesadvies: Disposition Data: The Asset That Became a Liability. Dit artikel van Martyn Redstone is wederom een pareltje en gaat ook nog eens over een zeer actueel onderwep: disposition data.
In dit artikel analyseert Redstone waarom het hergebruik van disposition data voor het trainen van AI-systemen niet langer een waardevol bezit is, maar een groot juridisch risico is geworden. De belangrijkste punten uit het artikel zijn:
Marc Drees 
Ik wil een sprookje vertellen over de onzalige samenkomst van een uitvoeringsinstantie met een probleem en een technologiebedrijf met de overtuiging dat zij de oplossing voor dat probleem konden leveren. Maar voordat ik begin met het rampzalige sprookje wil ik het eerst kort hebben over het Dunning – Kruger effect. Een prachtige naam voor een cognitieve bias met potentieel verwoestende gevolgen. Want het Dunning-Kruger effect laat zien dat zelfvertrouwen en competentie niet bepaald hand in hand gaan. En dat een tweezijdig Dunning-Krugertje gelijk staat aan een zich langzaam uitdijende ramp. Laat ik beginnen met het Dunning – Kruger effect.
Marc Drees 
Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik hoef te verrichten; al het werk is door Zeta Alpha gedaan. En dit keer gaat het over automation bias, hoewel de auteurs deze term opvallend genoeg niet noemen.
Het artikel Everything is Plausible: Investigating the Impact of LLM Rationales on Human Notions of Plausibility onderzoekt in hoeverre menselijke oordelen over de plausibiliteit van antwoorden op multiple-choice vragen over gezond verstand beïnvloed worden door argumenten voor of tegen een antwoord, met name wanneer deze argumenten (rationales) gegenereerd zijn door grote taalmodellen (LLMs). De auteurs verzamelden 3.000 plausibiliteitsoordelen van mensen en 13.600 van LLMs. Ze ontdekten dat de gemiddelde menselijke plausibiliteitsscores stijgen bij positieve en dalen bij negatieve LLM-rationales, wat suggereert dat mensen deze argumenten overtuigend vinden. Dit wijst erop dat LLMs een aanzienlijke invloed kunnen uitoefenen op menselijke overtuigingen, zelfs in domeinen waar mensen als “experts” worden beschouwd (zoals gezond verstand). Dit roept zorgen op over de potentiële manipulatieve kracht van LLMs en benadrukt de noodzaak van transparantie, en het ontwikkelen van mechanismen om schadelijke manipulatie te detecteren en tegen te gaan.
Marc Drees 
Jawel, in een artikel met de titel The Mystery Behind AI’s “Purple Problem” Revealed wordt uitgelegd waarom LLM’s van paars houden:
De kern van het probleem ligt bij de trainingsdata van de AI. AI-modellen zijn patroonmachines die esthetische vooroordelen in hun data reproduceren. De wijdverbreide adoptie van ontwerpframes zoals Tailwind, die standaard indigo/violet-kleuren hanteren, en de invloed van grote designsystemen hebben deze tinten genormaliseerd in de digitale wereld. Hierdoor is de trainingsdata van de AI verzadigd geraakt met deze specifieke esthetiek.
Marc Drees 
Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik hoef te verrichten; al het werk is door Zeta Alpha gedaan.
We weten al langer dat LLM’s broeinesten zijn van alle soorten bias die wij, armzalige stervelingen vertonen (en daarmee in de LLM trainingsdata is gecodeerd) en dat daarnaast diezelfde LLM’s nog een ferm aantal nieuwe bias-vormen vertonen. En nu blijkt uit een studie (Extreme Self-Preference in Language Models) dat LLM’s narcisistische trekken lijken te vertonen. Meer specifiek blijkt dat LLMs deze zelfliefde ook vertonen bij het evalueren van sollicitanten. De auteurs stellen:
Importantly, LLM self-love emerged in consequential settings beyond word-association tasks, when evaluating job candidates, security software proposals and medical chatbots. Far from bypassing this human bias, self-love appears to be deeply encoded in LLM cognition
Marc Drees 
Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik moet verrichten; al het voorwerk is door Zeta Alpha gedaan.
Vandaag behandel ik het artikel No Thoughts Just AI: Biased LLM Recommendations Limit Human Agency in Resume Screening dat heeft onderzocht hoe large language model (LLM)-based AI systemen, gebruikt voor cv-screening bias op ras kan introduceren (en versterken) bij recruiters. Yep, dat is voor mij ook nieuw. Tot op heden dacht ik dat LLM’s slechts alle cogntitieve en sociale bias-vormen van mensen kopieerden (via de trainingsdata) en er ook nog een paar geheel eigen bias vormen aan toevoegde. Maar nu lijkt er nog een derde categorie te zijn gevonden, of is dit ‘gewoon’ een geval van automation bias (“Computer says No“)?
Marc Drees 
When did we start trusting strangers?, is een ondertussen beroemde uitspraak in reactie op het succes van user ratings op gedrag van consumenten. Slechts een aantal jaren daarvoor was de mores nog: One the Internet, nobody knows you’re a dog. Maar naar nu blijkt zijn we ondertussen nog veel goedgeloviger geworden.
In zijn nieuwsbrief gaat Martyn Redstone nader in op ons nieuwe level van goedgelovigheid:
Modern AI models often employ a framework known as Retrieval-Augmented Generation (RAG), where the system first retrieves existing information from a vast corpus of data before augmenting it and generating a final answer. The choice of which data to retrieve is therefore a critical, formative step.
Marc Drees 
Stel je voor, je bent toe aan een volgende stap in je ‘carriere’ en je stort je na jaren met de nodige koudwatervrees in de grabbelton die solliciteren is. En je gaat er, geheel ten onrechte, vanuit dat een baan bij Anthropic* weleens een heel goede keuze is. En om extra indruk te maken laat je jouw motivatiebrief en je cv AI-versloppen** door Claude (Anthropic’s eigen LLM***). Als je je plaatsvervangende schaamte over het resulterende ronkende marketing gereutel (=AI-slop) in beide documenten hebt overwonnen en bezig bent met het invullen van het online sollicitatieformulier, valt je oog opeens op wat aanpalende condities (vergeet niet dat de aanpalende conditites door Anthropic publiek zijn gemaakt, maar ga er vanuit dat iedere werkgever hier min of meer vergelijkbare gedachten of ideeen heeft. In de meeste gevallen worden deze niet gecommuniceerd. Om het makkelijker te maken voor de sollicitant…): (meer…)
Marc Drees 
Even een shout out naar Martyn Redstone naar aanleiding van zijn recente artikel over (race) bias in recruiting:
The lawsuit claims that Sirius XM’s AI-driven tools, including candidate matching and shortlisting features, evaluated applicants based on data points that act as a proxy for race. The plaintiff alleges that these data points, such as educational institutions, employment history, and even zip codes, led to a “disproportionate” rejection rate for qualified African-American candidates. Mr. Harper, a highly qualified IT professional , claims he was rejected for 149 out of 150 positions he applied for , despite meeting or exceeding the qualifications for the roles.
Bijzonder interessant natuurlijk, en het is allang bekend dat demografische kenmerken zoals locatie kunnen worden gebruikt voor discriminatoire acties. Hetzelfde geldt natuurlijk ook voor opleidingsinstituten en werkgevers; in combinatie kan je hiermee bijzonder effectief filteren.
Hoewel deze rechtszaak dient in de VS is deze problematiek onverkort toepasbaar op de Europese situatie. Goed om hier aandacht aan te besteden dus
Marc Drees 
Een paar maanden geleden schreef ik met volle overtuiging: AI is bevattelijker voor bias dan haar schepper: forever data. En deze blog posting sloot ik als volgt af:
AI-systemen incorporeren (via trainingsdata waarin alle denkbare menselijke bias-vormen zijn neergeslagen) alle vormen van menselijke bias en worden door technische keuzes (AI bias-vormen) nog eens verder gemankeerd waardoor een slangenkuil van forever data ontstaat. En die slangenkuil laten we vervolgens los op niets-vermoedende sollicitanten in het naïeve geloof dat we objectiever en sneller (= goedkoper) tot een eerlijker resultaat gaan komen.
Maar ik moet tot mijn schande bekennen dat ik hiermee de boel ongekend (en nog erger, ongeïnformeerd) heb opgehitst. Mea culpa, mea maxima culpa.
Want dankzij de juni nieuwsbrief van VONQ heb ik namelijk het licht gezien, de nieuwsbrief verwijst namelijk naar een door een Britse juriste geschetste oplossing:
[Furat Ashraf] raised the point that, in theory, if you find the point of bias within AI and change the algorithm and train it on some additional data, then the issue should be fixed; something that is arguably much harder to do when dealing with humans.
