Ik plofte vorige week, te laat, in een webinar, en had direct spijt. Spijt dat ik niet vanaf de eerste minuut was aangeschoven, want de content was fantastisch. Het webinar werd gehouden door Martyn Redstone en het onderwerp was: Are commercial LLMs like ChatGPT, Gemini, and Grok really capable of screening CVs reliably? Daar heeft heel het recruitment domein een mening over waarbij er ondertussen sprake is van een tweedeling in belAIvers en non-belAIvers. Maar ik dwaal af. Zoals wel vaker het geval is, had ik tekst bij de uitnodiging niet goed gelezen; anders was ik nooit te laat gekomen:

I put them [LLM’s] to the test in a multi-week experiment that exposed the inconsistencies, contradictions, and hidden risks lurking beneath the surface of AI-driven hiring. Join me as I reveal the findings, debunk the myths, and issue a warning to recruiters and vendors relying on LLM-based screeners.

Redstone heeft de resultaten van zijn test ook beschikbaar gesteld (via  https://nas.io/hair, geen kosten), met de volgende tl;dr:

LLM REALITY CHECK The hidden instability of Al
résumé screening – Executive summary

Als broodnodige achtergrondinformatie:

ChatGPT-4o, Gemini 2.0 Flash, Grok 3 zijn gebruikt, met  een prompt om te zoeken naar een HR Business Partner (vacature) en daarbij 109 geanonimiseerde HR-Business-Partner cv’s (Engels).

De bevindingen waren:

LLM REALITY CHECK The hidden instability of Al résumé screening – AI screening: The good, the bad and the ugly

Samenvattend, LLM’s doen het niet echt lekker, maar dat doen ze wel verdomde snel. En dan heeft Redstone nog niet eens gekeken naar bias, denk bijvoorbeeld aan deze en natuurlijk deze informatie. En ook deze dialoog met een LLM is inzichtgevend.

Anywhoo, iedereen die iets met LLM’s en recruitment doet, beveel ik van harte het onderzoek van Redstone aan. Het is compact, toegankelijk, waardevol en (voor de meesten van ons) schokkend EN inzichtgevend! En gratis!!

Ik kan natuurlijk niet achterblijven, dus hierbij een gratis tip van mijn kant: Werkzoekers kunnen met recht en reden een solvabel verdienmodel ontwikkelen door potentiële werkgevers aan te klagen bij non-response op een sollicitatie. Maar goed, dat konden ze hiervoor natuurlijk ook al wel; maar AI gaat het wel een stuk makkelijker maken. Tenslotte is het schaalbaar en super snel… En voor HR/recruiters: neem maar vast een postje onvoorzien op in het budget voor 2026.