Ik heb besloten om regelmatig actuele artikelen mbt AI en HR de wereld in te slingeren. Het is nauwelijks een inspanning die ik hoef te verrichten; al het werk is door Zeta Alpha gedaan. En dit keer gaat het over automation bias, hoewel de auteurs deze term opvallend genoeg niet noemen.
Het artikel Everything is Plausible: Investigating the Impact of LLM Rationales on Human Notions of Plausibility onderzoekt in hoeverre menselijke oordelen over de plausibiliteit van antwoorden op multiple-choice vragen over gezond verstand beïnvloed worden door argumenten voor of tegen een antwoord, met name wanneer deze argumenten (rationales) gegenereerd zijn door grote taalmodellen (LLMs). De auteurs verzamelden 3.000 plausibiliteitsoordelen van mensen en 13.600 van LLMs. Ze ontdekten dat de gemiddelde menselijke plausibiliteitsscores stijgen bij positieve en dalen bij negatieve LLM-rationales, wat suggereert dat mensen deze argumenten overtuigend vinden. Dit wijst erop dat LLMs een aanzienlijke invloed kunnen uitoefenen op menselijke overtuigingen, zelfs in domeinen waar mensen als “experts” worden beschouwd (zoals gezond verstand). Dit roept zorgen op over de potentiële manipulatieve kracht van LLMs en benadrukt de noodzaak van transparantie, en het ontwikkelen van mechanismen om schadelijke manipulatie te detecteren en tegen te gaan.
In een eerdere blog posting ben ik ingegaan op het fenomeen automation bias, met daarbij de volgende beschrijving:
de neiging om overdreven vertrouwen te hebben in geautomatiseerde systemen, waardoor gebruikers tegenstrijdige informatie van andere bronnen (inclusief eigen waarneming) negeren. Dit cognitieve vooroordeel leidt tot fouten wanneer gebruikers automatische aanbevelingen kritiekloos volgen, zelfs als deze onjuist of onvolledig zijn. Het ontstaat vaak door overmatig vertrouwen in technologie en complacentie, vooral in complexe of stressvolle omgevingen zoals luchtvaart, gezondheidszorg of industrie. Automation bias kan kritisch denken en situationeel bewustzijn verminderen, waardoor risico’s op fouten toenemen.
Tegelijkertijd heeft de Autoriteit Persoonsgegevens (AP) recent een document uitgebracht met als titel Handvatten betekenisvolle menselijke tussenkomst. Het gaat bij dit document om één artikel van de AVG, artikel 22:
De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.
Betekenisvolle menselijke tussenkomst is de veiligheidsklep om te voorkomen dat mensen uitsluitend op basis van het oordeel van een LLM worden afgewezen. Maar wat is betekenisvol? Nou, dit:
De mens werkelijk invloed kan uitoefenen op de beslissing,
De mens zelfstandig een afweging maakt, inclusief de mogelijkheid om:
algoritmische output te negeren, corrigeren of aanvullen,
alternatieve factoren te betrekken die het algoritme niet kent,
De beoordeling plaatsvindt vóórdat het besluit gevolgen heeft voor de betrokkene,
De beoordelaar voldoende kennis, tijd, autonomie en toegang tot data heeft,
De tussenkomst geen automatisme is, maar een bewuste en kritische handeling.
De punten die de AP noemt, zijn zonder meer valide, maar op basis van bovenstaande bevindingen in het genoemde artikel lijken ze niet voldoende. Want ook expers laten zich blijkbaar beïnvloeden door een door een LLM gemaakte beslissing, wat overigens volledig begrijpelijk is. Een zorgelijke situatie…
Meer blog postings over artikelen die ik dankzij Zeta Alpha heb gevonden?