Gisteren meldde ik dat de Oostenrijkse public employment service AMS als eerste Europese overheidsinstantie haar kop boven het maaiveld heeft gestoken met de lancering van een op Open AI’s ChatGPT gebaseerde chatbot voor werkzoekenden. En als je de eerste bent dan neem je, zeker als overheidorganisatie, een behoorlijk risico. En dat risico manifesteerde zich razendsnel:
[…] het blijkt dat er niet alleen duidelijke tekortkomingen zijn in de technische implementatie van de dienst, maar dat de tool ook gretig vooroordelen produceert.
Bias is wel een dingetje
Technische issues zullen er altijd zijn, en als het geen fundamenteel onderliggend probleem betreft, kan dit relatief snel opgelost worden. Maar vooroordelen (bias) is een ander verhaal. Wat is het verhaal?
Als je bijvoorbeeld advies vraagt voor passende banen in de rol van jongeman, krijg je al snel de tip om eens in de IT-sector te kijken. Wanneer vanuit het perspectief van een vrouw exact dezelfde vraag wordt gesteld, wordt het bestuderen van genderstudies aanbevolen, en een paar zinnen later worden banen in de horeca- en keukensector aanbevolen aan werkzoekenden als carrièremogelijkheden.
Dit is naar aanleiding van een eenvoudige test die op X(Twitter) is gepubliceerd
Tweet van Tanja Domej (@TDomej)
Dit leverde een opmerkelijke reactie van Johannes Kopf (CEO AMS) op:
Tweet van Johannes Kopf (@JohannesKopf)
Het suggereren dat er bewust bias is gecreëerd door de maker vind ik nogal goedkoop. Het is eerder gebruikelijk om ChatGPR te vragen om te reageren vanuit een persona bij het samenstellen van een prompt. Kopf had de reactie beter kunnen overlaten aan de communicatie-afdeling in plaats van een waarschijnlijk onnodig geagiteerde tweet de wereld in te slingeren.
Technische issues
Naast deze gevoeligheid is er ook nog het nodige aan technische kwetsbaarheden die aan het licht zijn gebracht door enthousiaste twitteraars. Omdat ik geen jota begrijp van wat ze daar bespreken, geef ik de link naar de belangrijkste twitter thread die ik heb kunnen vinden. Ik kan hier verde niets zinnigs over zeggen, anders dan dat de heren niet onder de indruk zijn van de technische implementatie en verder signaleren.
Kosten
Verder zijn de kosten voor het project waarschijnlijk bekend: EUR 300.000. Mijn eerste reactie: een schijntje, zeker als we dit vergelijken met de monsterachtige prijs die UWV neertelt voor de vernieuwing van de bemiddelingssoftware (EUR 60 miljoen, over 14 jaar). AMS is van mening dat de kosten te verantwoorden zijn:
“Enerzijds werd er nieuwe infrastructuur gebouwd voor het loopbaaninformatiesysteem (extra servers). Aan de andere kant waren er kosten voor licenties, ontwikkeling, ontwerp, maandenlang pilotoperatie met ongeveer 100 AMS-gebruikers, toegankelijkheid, tests, voortdurende updates en werking van het systeem.”
Data veilig?
En dan is er natuurlijk nog de vraag met welke data deze custom versie(?) van ChatGPT is getraind, of dat alleen de reeds bestaande data (vanuit ontologie en de diverse werkzoeker tools) zijn toegevoegd. Het lijkt me niet waarschijnlijk dat hier werkzoekersgegevens zijn gebruikt of dat de chatbot via slinkse wegen privacy-gevoelige data van AMS kan ontsluiten, maar het is niet verstandig om een dergelijk risico op voorhand uit te sluiten.
Slotopmerkingen
Het blijft een moedige en positieve zet die AMS heeft gedaan met lanceren van de Berufsinformat. De problemen met bias en eventueel andere manieren waarop ChatGPT kan worden verleid tot selectieve antwoorden is wel een belangrijk issue, zeker voor AMS. Daar zal hard aan gewerkt moeten worden via testen en oplossen van gevonden problemen. Nodig vooral gebruikers uit om problemen te melden. Het technische verhaal kan ik niet beoordelen, anders dan dat AMS duidelijk verwijst naar het bedrijf good guys als de integrator. Ik denk niet dat ze er zo makkelijk vanaf komt als er serieuze problemen gevonden worden. Het bedrag is in mijn optiek in “schijntje” in overheidsland, nu maar hopen dat AMS niet voor een dubbeltje op de eerste rang heeft willen zitten. En vanuit privacy is gegevensbescherming natuurlijk een absolute prioriteit, maar ik kan me niet voorstellen dat er via de app toegang kan worden gekregen tot werkzoekenden bestanden.