Geen zorgen, ik leg natuurlijk eerst even uit wat automation bias betekent:
de neiging om overdreven vertrouwen te hebben in geautomatiseerde systemen, waardoor gebruikers tegenstrijdige informatie van andere bronnen (inclusief eigen waarneming) negeren. Dit cognitieve vooroordeel leidt tot fouten wanneer gebruikers automatische aanbevelingen kritiekloos volgen, zelfs als deze onjuist of onvolledig zijn. Het ontstaat vaak door overmatig vertrouwen in technologie en complacentie, vooral in complexe of stressvolle omgevingen zoals luchtvaart, gezondheidszorg of industrie. Automation bias kan kritisch denken en situationeel bewustzijn verminderen, waardoor risico’s op fouten toenemen.
Ik zou naast luchtvaart, gezondheidszorg of industrie ook graag het recruitment domein aan bovesntaande sectoren willen toevoegen. Niet perse een complexe omgeving, maar wel een stresvolle. En vertrouwen in de technologie is in niet geringe mate ingegeven door een chronisch gebrek aan tijd. Waardoor de door een computer uitgespuugd lijstje met kandidaten vaak ook op face value wordt aangenomen. Dag andere kandidaten… Van vrijwel geen van de kandidaten is nog cv of LinkedIn profiel bekeken. Alles is door technologie gedaan:
- de ontvangst van een sollicitatie,
- het beoordelen van een cv,
- het uitvragen van ‘witte vlekken’,
- het completeren van het kandidaatprofiel,
- het vergelijken van elk profiel met de vacature,
- het opstellen van een shortlist met x beste kandidaten.
De kans dat een recruiter van vlees en bloed de tijd neemt om meerdere kandidaatprofielen te gaan bekijken, los van het hierboven beschreven proces, is klein en wordt met het voortschrijden van de tijd waarschijnlijk steeds kleiner. Er is een impliciet, en stijgend, vertrouwen dat de technologie volstrekt objectief tot een 100% correcte shortlist komt. Of er is geen enkele interesse of de beste kandidaten op de shortlist komen, maar dan belanden we in het domein van de staffing/bureau recruiter. Ik heb de illusie (?) dat corporate recruiters nog wel die interesse hebben, tenslotte gaat het om toekomstige collega’s.
Als ik als recruiter een shortlist van kandidaten krijg dan is de kans groot dat ik een groot vertrouwen heb in de technologie die tot deze shortlist is gekomen. Begrijpelijk, want waar voorheen recruiters urenlang bezig waren met het bij elkaar sprokkelen van alle benodigde informatie wordt dit nu met een veel kortere doorlooptijd aangeboden, zonder zichtbare inspanning. Het zou wel vreemd zijn als je dit resultaat in twijfel gaat trekken. Er kan hooguit binnen de shortlist sprake zijn van een andere ordening, maar de kans dat gekeken wordt naar kandidaten buiten de shortlist is waarschijnlijk zeer klein. Automation bias in optima forma.
Recruitment systemen die gebruik maken van AI vallen in veel gevallen binnen de hoog risico categorie van de AI Act. Het betekent dat beslissingen door mensen genomen moeten worden. Daarmee lijkt te worden voorkomen dat ‘het systeem’ beslissingen neemt, maar in werkelijkheid hebben we het hier over een ‘papieren tijger’. Want door het gebrek aan betrokkenheid in de voorgaande werkzaamheden is het voor een recruiter vrijwel onmogelijk geworden om een inhoudelijk oordeel te hebben over de samenstelling van de shortlist. Als een recruiter de shortlist in twijfel trekt dan blokkeert hij/zij/x het recruitment proces. En dat kan je van een recruiter toch ook niet verwachten. Automation bias is de onverbiddelijke uitkomst van het vergaand automatiseren van het recruitment proces, ook als daar een menselijke handeling in wordt geknutseld.
Heeft iemand een idee hoe we deze uitkomst kunnen voorkomen? Of is het beter om automation bias te omarmen als een wenselijk defect?