Een aantal dagen geleden geleden verscheen er weer eens een (ondoordacht?) artikel van 8vance op haar favoriete marketing kanaal Werf& met de volgende teaser:

Nederland [is] naarstig op zoek naar een nieuwe minister-president. In deze zoektocht rijst de vraag: wat zou A.I. daarvan vinden?

Kort gezegd komt het artikel er op neer dat 8vance een vergelijking zegt te willen maken tussen ‘brede’ AI’s (LLM’s zoals ChatGPT, Perplexity en Gemini) en smalle AI (hier komt 8vance niet verder dan: 8vance). En over die brede AI’s zegt 8vance:

Voordeel is dat deze technologie getraind is op openbare data van het hele internet en daardoor oneindig veel bronnen kan combineren. Nadeel is dat deze technologie niet altijd consistent is, soms hallucineert en vooral heel specifieke ‘kennis’ ontbeert als je inzoomt op een bepaald onderwerp zoals bijvoorbeeld recruitment. De antwoorden zijn daarvoor vaak te algemeen en nietszeggend.

Dat is het. Geen specifieke prompts die zijn uitgeprobeerd, geen concrete resultaten die kunnen woren vergeleken, helemaal niets. Feitelijk zet 8vance LLM’s weg als onbetrouwbaar en onbruikbaar zonder hiervoor ook maar een snipper bewijs te leveren. Waarmee overigens niet is gezegd dat LLM’s een goede vraagbaak zou zijn. Kijk naar de resultaten op basis van de prompt: Welke publiek bekende figuren zijn in theorie kandidaat voor het premiersschap van de nieuwe Nederlandse regering (PVV, BBB, VVD en NSC)? Wees concreet.

Google Gemini: “Ik ben nog aan het leren hoe ik deze vraag kan beantwoorden. Probeer in de tussentijd Google Zoeken.” Ja, doei…

ChatGPT 4.0: In eerste instantie geeft ChatGPT de vier partijleiders als mogelijke kandidaten aan, maar we weten al dat dit niet gaat gebeuren. Dus heb ik doorgevraagd, met uitsluiting van de partijleiders. Er komen nu namen van leden van één van de partijen, met als bijzonder hallucinatie Renske Leijten die als tweede kamerlid van NSC wordt opgevoerd… Een tweede keer doorvragen (nu met uitsluiting van partijleden van één van de vier partijen) levert: Femke Halsema, Hans de Boer, Kasja Ollongren, Jeroen Dijsselbloem, Ahmed Aboutaleb, en Alexander Rinnooy op. Ik ga niet speculeren over de kans voor één van deze kandidaten,  maar in veel gevallen moeten ze er waarschijnlijk een royement van hun huidige partij voor over hebben. ChatGPT komt uiteindelijk met antwoorden, hoe je de kans voor de genoemde kandidaten ook inschat. En je kan redelijkerwijs aannemen dat de genoemde kandidaten uitgebreide bestuurlijke ervaring hebben met bijpassende skillset en daarmee in theorie kandidaat kunnen zijn.

Perplexity: Bij dit LLM heb ik het geleerde bij ChatGPT direct toegepast zodat ik meteen een lijst namen zonder lidmaatschap bij één van de vier coalitiepartijen kreeg: Ahmed Aboutaleb, Klaas Dijkhoff, Frans Timmermans, Jan van Zanen, Louise Fresco. Wederom een lijst met kandidaten, hoe onwaarschijnlijk dan ook. En ook hier kan je redelijkerwijs aannemen dat de genoemde kandidaten uitgebreide bestuurlijke ervaring hebben met bijpassende skillset en daarmee in theorie kandidaat kunnen zijn.

Ik ben het dus volstrekt oneens met de schrijver dat LLM’s algemene en nietszeggende antwoorden geven. Integendeel. Waarom de schrijver niet eens de moeite heeft genomen de eigen vooringenomenheid te toetsen, is wel duidelijk; dit artikel is niet bedoeld om een premierskandidaat via AI te vinden maar om de loftrompet over 8vance te steken. En om een huilverhaal op te hangen…

Laten we nu overstappen naar het 8vance loftrompet gedeelte van het artikel. De auteur stelt als voorwaarde:

Om te beginnen, moeten we vaststellen welke vaardigheden nodig zijn voor de functie. Traditioneel wordt dan vooral gekeken naar werkervaring en opleiding. Maar ten tijde van een uitdagende en fundamenteel veranderende arbeidsmarkt (mede dankzij A.I.), is dat niet meer voldoende. De trend is om naar skills te kijken: welke hard skills en welke persoonlijkheidskenmerken (soft skills) zijn nodig? Deze vaardigheden kunnen ook zijn opgedaan in een ‘functie elders’ (pun intended). Soft skills zeggen veel over de cultuur waarbinnen iemand moet passen. Dus welke skills zijn er nodig als premier?

Maar deze zelf gestelde vraag (welke skills zijn er nodig als premier) wordt vervolgens niet beantwoord. Dat klinkt bizar, maar het wordt snel duidelijk waarom.

Maar eerst, wat is smalle AI eigenlijk?:

Naast brede A.I. is er ook smalle, specifieke A.I., die getraind is op één bepaald soort data, zoals cv’s en vacatures. Met dit soort A.I. (zoals van het Nederlandse 8vance) kun je gericht de skills voorspellen die nodig zijn voor een specifiek profiel. Deze skills zijn per persoon uniek (vastgelegd in een ontologie), gestandaardiseerd en gewogen. De kans dat iemand over specifieke skills bezit en het expertiseniveau waarop iemand deze skill waarschijnlijk heeft, wordt dan beter voorspeld dan op basis van diens opleiding, werkervaring en andere relevante informatie.

Inderdaad, waar bij LLM’s nog alternatieven werden genoemd beperkt de auteur zich hier tot de eigen werkgever, 8vance. En na deze introductie gaat de auteur verder:

Als we exact weten welke skills voor de nieuwe premier nodig zijn, kunnen we vervolgens kijken naar welke skillsets er beschikbaar zijn. Dit gaat natuurlijk over miljoenen potentiële kandidaten. Er is vanzelfsprekend geen concrete database met al deze profielen, maar veel mensen hebben informatie over zichzelf online gedeeld, bijvoorbeeld via LinkedIn.

Tot voor kort had 8vance hiervoor een mooie work-around: een eigen zoekmachine die profielen van onder andere LinkedIn scrapete en deze met A.I. voorzag van een voorspelde skillset. Helaas verbergt LinkedIn nu steeds meer werkervaring en opleidingen op profielen. Dit betekent dat we de skills die we in het verleden voor een profiel hebben voorspeld, nu niet meer kunnen finetunen.

Over de rechtmatigheid van het scrapen van LinkedIn is ondertussen meer dan voldoende geschreven, kort gezegd komt het er op neer dat 8vance zich volgens de Autoriteit Persoonsgegevens niet aan de AVG heeft gehouden.

Maar 8vance denkt nieuwe bronnen te hebben aangeboord:

Maar gelukkig zijn er meer bronnen. Mensen die in aanmerking willen komen voor het premierschap zijn vaak goed online vindbaar. Hun cv staat op persoonlijke websites, de sites van politieke partijen, bij interviews en onder zelf geschreven publicaties. De combinatie van deze bronnen levert nog altijd honderdduizenden potentiële kandidaten op, waarbij je gestandaardiseerde skillsets kunt voorspellen en kunt berekenen wie de beste premier is.

Maar bovengenoemde (niet genoemde…) bronnen zijn ook verboden terrein om persoonsgegevens van te verzamelen, zoals voorzitter van Autoriteit Persoonsgegevens Aleid Wolfsen duidelijk maakt:

Dat informatie over jou openbaar is, betekent niet automatisch dat jij ook toestemming geeft voor scraping. Ook wanneer jij zelf op je socialemedia-account zet dat je laatst de loterij hebt gewonnen of een operatie hebt gehad, geef je daarmee geen toestemming om die gegevens te scrapen. Toestemming voor het verzamelen van persoonsgegevens geef je alleen als het jou van tevoren netjes is gevraagd.

Dit is dus net zo fout als het scrapen van het publieke deel van LinkedIn.

Ik ben ondertussen wel zeer benieuwd naar de kandidaten die 8vance heeft gevonden. Maar 8vance bouwt de spanning eerst nog wat verder op:

Natuurlijk willen we het antwoord geven op de vraag wie de beste premier voor Nederland zou zijn aan de hand van de hierboven beschreven methode. Is het een bekende Nederlander? Gaan we vriend en vijand verrassen? Onze A.I. analyseert alle beschikbare profielen en vergelijkt aan de hand van skillsets en ervaringen de persoon die matcht met het ideale profiel voor het premierschap van Nederland. En dan… de match.

Wie o wie, de spanning is bijna ondraaglijk:

Hoewel A.I.-technologie de match tussen ‘mens’ en ‘werk’ nauwkeurig kan voorspellen, worden we door de recent aangenomen Europese AI-wet als hoog risico aangemerkt. Dit betekent dat we onder een vergrootglas liggen wat betreft de privacy van onze gebruikers, en dat we die ene persoon niet bij naam mogen noemen. Want als we nu de resultaten delen, delen we persoonsgegevens, en daarover is de wetgeving duidelijk. Ondanks dat het mensen betreft die hun gegevens al online hebben gedeeld, hebben ze dit niet specifiek voor deze doeleinden gedaan, en dus respecteren we hun privacy.

WAT? Heb ik daarvoor tien minuten van mijn leven verspild die ik nooit meer terug krijg? Met een absoluut lege huls, na al dat gereutel?? Wat is dit voor onzin?

8vance voert om volstrekt onjuiste redenen de AI Act op als argument om geen namen te noemen. Mag ik 8vance er aan herinneren dat de AI Act nog helemaal niet in werking is getreden? En dat het hier gaat om de AVG. Die wet gaat over privacy en daar gaat het hier over. En dat is de wet die 8vance al sinds de invoering daarvan stelselmatig overtreedt, sinds 2018 dus.

En juist in dit geval zouden namen volgens mij wel genoemd kunnen worden; een gerechtvaardigd belang (publieke belang / journalistiek) kan hier van toepassing zijn…

Slotopmerkingen
Het artikel in Werf& is niets anders dan ordinaire clickbait. Het gaat helemaal niet over technologie die een premierskandidaat al dan niet kan ophoesten maar om 8vance te promoten. Maar daar waar 8vance geen namen kan geven, leveren de LLM’s wel. Maar ik denk dat dat irrelevant is, AI’s hebben voorlopig niets te zoeken bij het proces van selecteren van een premierskandidaat. God verhoede.

Ik vind het verder schokkend om te zien hoe Werf& nog altijd een platform biedt aan een organisatie die de AVG met voeten treedt. En die artikelen op Werf& kan blijven publiceren van een uitzonderlijk laag allooi. Heeft Werf& eigenlijk wel een redactie? Of is Werf& okay met de wetenschap dat haar lezers het bos in worden gestuurd?