Provincie West-Vlaanderen treft maatregelen tegen AI-misbruik in selectieprocedures

Selection biasesEen interessant nieuwsbericht waarbij ik onwillekeurig op het verkeerde been werd gezet als gevolg van de titel Provincie West_Vlaanderen treft maatregelen tegen AI-misbruik in selectieprocedures. Ik verwachtte maatregelen die het risico op bias in selectieprocedures waarbij AI  een rol speelt, wilde beteugelen. Maar het gaat helemaal niet om werkgevers, het gaat om misbruik door werknemers:

Het provinciebestuur van West-Vlaanderen neemt stappen om misbruik van artificiële intelligentie (AI) tijdens selectieprocedures te voorkomen. ‘Bij een selectieprocedure om de parate kennis van kandidaten te meten is het gebruik van internet of AI niet toegestaan’, zo stelde provincieraadslid Kurt Himpe

En dat heeft dus helemaals niets te maken met de werkgeverszijde maar alles met de eventuele mogelijkheden die werkzoekenden hebben om voordeel te halen door het gebruik van (met name) LLM’s:

“Binnen de selectieprocedures zijn er verschillende mogelijkheden om examenonderdelen te selecteren, zoals een thuisopdracht, een schriftelijke of een praktische proef”, zei Himpe. “Voor thuisopdrachten wil het provinciebestuur bijvoorbeeld het gebruik niet categorisch verbieden, maar wel een situatie creëren die vergelijkbaar is met de dagelijkse werkpraktijk.”

Ik ga er overigens vanuit dat Himpe het hier uitsluitend heeft over de selectieprocedures bij werving binnen het provinciebestuur en niet over werkgevers in het algemeen.

Bij een mondelinge proef wordt dan beoordeeld of kandidaten niet alleen afhankelijk zijn van AI-tools, maar ook over persoonlijke competenties en inzicht beschikken. Dat is niet toegestaan, aldus Himpe. “Met een mondelinge proef wordt dan nagegaan of kandidaten niet louter afhankelijk zijn van AI-tools en ook beschikken over persoonlijke competenties en inzicht. Bij een selectieprocedure om de parate kennis van kandidaten te meten is het gebruik van internet of AI niet toegestaan.”

Ik ken de mate niet waarin AI binnen het provinciebestuur van West-Vlaanderen wordt gebruikt voor het selectieproces van sollicitanten, maar misschien is het goed dat Kimpe daar ook kennis van neemt, evenals de risico’s die dat met zich mee kan brengen. Als tegenprestatie geef ik hem hierbij een antwoord van ChatGPT 4 op mijn vraag: Kan je me ten minste 10 voorbeelden geven waarbij AI en big data ten onrechte een bias hebben geintroduceerd wat heeft geleid tot onrechtvaardige besluitvoming en/of onrechtvaardige selectie.

Ja, er zijn verschillende voorbeelden waarbij het gebruik van AI en big data heeft geleid tot ongewenste bias en onrechtvaardige besluitvorming of selectie:

  1. Amazon’s Rekruteringsalgoritme: Amazon ontdekte dat hun AI-gestuurde rekruteringssysteem vrouwelijke kandidaten benadeelde, omdat het systeem historische data gebruikte die mannen bevoordeelde.

  2. COMPAS Software in Rechtspraak: Dit softwareprogramma, gebruikt in de VS voor risico-inschatting van recidive, toonde bias tegen Afro-Amerikaanse beklaagden, wat leidde tot strengere aanbevelingen in vergelijking met witte beklaagden.

  3. Gezichtsherkenningstechnologie: Verschillende studies hebben aangetoond dat gezichtsherkenningssystemen minder nauwkeurig zijn voor mensen met een donkere huidskleur, wat kan leiden tot onjuiste identificaties en discriminatie.

  4. AI in Gezondheidszorg: Onderzoek wees uit dat een algoritme in de gezondheidszorg zwarte patiënten benadeelde door hen minder vaak door te verwijzen naar verbeterde zorgprogramma’s in vergelijking met witte patiënten met dezelfde gezondheidsstatus.

  5. Apple Card Kredietlimiet Bias: Gebruikers meldden dat het algoritme achter Apple Card vrouwen systematisch lagere kredietlimieten gaf dan mannen, zelfs wanneer ze vergelijkbare kredietwaardigheden hadden.

  6. Google Foto’s Rassenverwarring: Google Foto’s labelde in een berucht voorbeeld zwarte mensen als gorilla’s, wat duidt op ernstige gebreken en bias in hun beeldherkenningsalgoritmes.

  7. Tay – Microsoft’s AI Chatbot: Tay, ontwikkeld door Microsoft, werd al snel racistisch en beledigend op Twitter door het leren van interacties, wat de impact van toxische gegevens op AI-gedrag aantoont.

  8. AI in Wervingssoftware: Verschillende wervingssoftware toonde bias door CV’s van kandidaten met namen die als ‘niet-westers’ klonken lager te beoordelen.

  9. Racistische AI in Vastgoedbeoordelingen: AI-systemen gebruikt voor het beoordelen van huizenwaarde toonden een neiging om huizen in wijken met een overwegend zwarte of latino bevolking lager te waarderen.

  10. Geslachtsbias in Vertaaltools: Automatische vertaaldiensten zoals Google Translate toonden vooroordelen door neutrale beroepen automatisch te vertalen naar mannelijke voornaamwoorden, wat stereotype opvattingen versterkt.

Deze voorbeelden benadrukken het belang van zorgvuldig ontwerp en voortdurende monitoring van AI-systemen om bias te minimaliseren en eerlijke en rechtvaardige uitkomsten te waarborgen.

En dan doe ik er voor het gemak ook nog maar een boekje bij: Weapons of Math Destruction. How big data increases inequality and threatens democracy. Van Cathy O’Neil. Sterk aanbevolen.

O ja, en dan hebben we natuurlijk in Nederland ook nog de Toeslagaffaire. Geen LLM, wel AI. Het gaat over maximaal 70.000 mensen die door de Nederlandse overheid volledig aan hun lot zijn overgelaten nadat ze alles hadden verloren door een “kleine” bias in een algoritme van de Belastingdienst.

En natuurlijk alle andere voorbeelden die nu nog door de mantel der liefde worden bedenkt maar op een gegeven moment hun akelige kopje boven het maaiveld gaan steken. Geef het even tijd…

Geef een reactie