Een paar maanden geleden schreef ik met volle overtuiging: AI is bevattelijker voor bias dan haar schepper: forever data. En deze blog posting sloot ik als volgt af:

AI-systemen incorporeren (via trainingsdata waarin alle denkbare menselijke bias-vormen zijn neergeslagen) alle vormen van menselijke bias en worden door technische keuzes (AI bias-vormen) nog eens verder gemankeerd waardoor een slangenkuil van forever data ontstaat. En die slangenkuil laten we vervolgens los op niets-vermoedende sollicitanten in het naïeve geloof dat we objectiever en sneller (= goedkoper) tot een eerlijker resultaat gaan komen.

Maar ik moet tot mijn schande bekennen dat ik hiermee de boel ongekend (en nog erger, ongeïnformeerd) heb opgehitst. Mea culpa, mea maxima culpa.

Want dankzij de juni nieuwsbrief van VONQ heb ik namelijk het licht gezien, de nieuwsbrief verwijst namelijk naar een door een Britse juriste geschetste oplossing:

[Furat Ashraf] raised the point that, in theory, if you find the point of bias within AI and change the algorithm and train it on some additional data, then the issue should be fixed; something that is arguably much harder to do when dealing with humans.

Hebben we opgelet? Dit is een wereldveranderende oplossing,  1 –2 – 3 en bias is weg:

1. Find the point of bias
2. Change the algorithm
3. Train it on some additional data

Nailed it!!

Tegelijkertijd begon ik te twijfelen aan mijn beoordelingsvermogen. Ik verkeer soms in het gezelschap van (naar mijn mening) bijzonder slimme mensen als het om AI-technologie gaat en mede dankzij hen denk ik een idee te hebben wat de (on)mogelijkheden zijn van het after the fact wijzigen van data of fröbelen in het algoritme. Of heb ik het me allemaal gewoon verbeeld? Op mijn leeftijd moet je jezelf daar rekenschap van geven, nog afgezien van het feit dat mij dagelijks wordt gevraagd of ik soms aan het dementeren ben?

Ik heb daarom even een rondje gedaan langs enkele van die bovengenoemde bijzonder slimme mensen, waarbij de reactie van Michel Rijnders er wel uitsprong in duidelijkheid en bondigheid:

Voor normale stervelingen was er ook nog een antwoord in onvervalst Nederlands (vetgedrukte delen zijn door mij gedaan):
De stelling is te simplistisch. Bias in AI zit niet alleen in algoritmes of trainingsdata, maar ook in ontwerpkeuzes, dataselectie en menselijke aannames. Het “vinden” en “repareren” van bias is complex, omdat bias vaak impliciet en contextafhankelijk is. Nieuwe data of algoritme-aanpassingen kunnen bias verplaatsen of nieuwe bias introduceren. Bovendien is menselijke bias niet per se moeilijker te corrigeren; AI-bias weerspiegelt vaak menselijke bias, waardoor beide problemen nauw verbonden zijn. De stelling negeert deze nuance en overdrijft de technische “fixbaarheid” van AI-bias.

Vincent Slot gaf me dit antwoord (vetgedrukte delen zijn door mij gedaan):

Het probleem (en tegelijkertijd de kracht) van de meeste AI algoritmes, met name neurale netwerken (zoals LLMs), is dat de informatie diffuus ligt opgeslagen door het hele netwerk. Er is niet één ‘point of bias’, alles hangt met elkaar samen. Juist doordat niet elk semantisch concept aan één parameter in het netwerk is gebonden, maar een extreem complexe combinatie is van abstracte semantische dimensies kunnen LLMs taal ogenschijnlijk zo goed ‘begrijpen’. Het is dus ook onmogelijk om alle bias uit een neuraal netwerk te krijgen.

Naast deze inherente beperking is het ook al conceptueel niet mogelijk om één ‘point of bias’ aan wijzen. Je kunt natuurlijk prima meten of vrouwen/ethnische minderheden goed gerepresenteerd worden door je algoritme, maar daarmee heb je slechts twee categorieën afgevangen. De meeste uitingen van bias zijn vele malen subtieler, bijvoorbeeld dat krachtig taalgebruik betere scores geeft als LLMs CVs beoordelen. Dat is geen ‘point of bias’: dat vindt plaats op alle lagen in het systeem, van semantiek tot de technische implementatie van het algoritme.

De genoemde aanpak van tegenvoorbeelden geven om op te trainen is uiterst beperkt, ook na hertraining is er geen enkele garantie dat de bias verdwenen is. Een ‘betere’ manier (voor zover mogelijk) is om het netwerk achteraf te corrigeren en bijvoorbeeld vrouwen/minderheden post-hoc te ‘boosten’ zodat de distributie overeenkomt met de werkelijkheid. Maar dan heb je nog steeds maar expliciet gedefinieerde uitingen van bias te pakken.

Marco van Hurne gaf me deze reactie (vetgedrukte delen zijn door mij gedaan):

Interessant punt, maar bogus, want het klinkt veel te simple zo. Bias in AI is vaak diep verweven in de data en het ontwerp van het model. Even wat extra data toevoegen of het algoritme aanpassen is niet altijd genoeg. In de praktijk is het vaak veel complexer dan bij mensen en dus  niet makkelijker.  Zelfs al is het de bedoeling om alle bias uit je dataset te halen, dan nog heeft het system bias. Bias is inherent aan elk system. Weet je wanneer een system geen bias heeft? Wanneer er GEEN data in zit.

Verder kan het ook helpen door met de term bias binnen RecruitmentMatters te zoeken. De teller staat op dit moment stil op 103 artikelen, dus er is vast wel iets van je gading bij.