Als korte introductie eerst even een zeer korte samenvatting van de risico’s van een agrarische monocultuur:

• Hoge kwetsbaarheid voor ziekten en plagen: Omdat alle planten genetisch nagenoeg identiek zijn, heeft een schimmel, virus of insect geen natuurlijke barrière. Een ziekte of plaag kan daardoor in recordtempo een volledige oogst vernietigen (denk Ierse aardappelhongersnood van midden negentiende eeuw).
• Bodemuitputting: Eén type gewas onttrekt continu dezelfde voedingsstoffen aan de grond. Dit verarmt de bodem, vernietigt het micro-organische bodemleven en maakt de landbouw steeds meer afhankelijk van kunstmest om die voedingstoffen aan te vullen.
• Verlies van biodiversiteit: Grote landoppervlakken met één gewas bieden geen leefgebied voor lokale flora en fauna. Dit verdrijft nuttige insecten (zoals bijen) en natuurlijke vijanden van plagen, waardoor het ecologische evenwicht verdwijnt.
• Economisch risico: Een boer of regio die afhankelijk is van één product, loopt een groot financieel risico. Als de marktprijs van dat specifieke gewas instort of de oogst mislukt door het weer, is er geen alternatieve inkomstenbron om de klap op te vangen.

Klinkt behoorlijk riskant, toch? Dus waarom zouden we het principe van een monocultuur willen injecteren in onze algoritmen? Nieuwsgierig? Lees dan gezellig met me mee.

In het artikel Algorithmic Monocultures in Hiring analyseerden onderzoekers een dataset van Pymetrics (tegenwoordig onderdeel van Harver). Deze dataset bevat 4.197.168 sollicitaties van 3.372.132 unieke sollicitanten voor 1.746 verschillende posities, verspreid over 156 grote werkgevers in 11 sectoren. De belangrijkste bevindingen zijn:

1. Zwarte sollicitanten worden systematisch achtergesteld
In eerdere onderzoeken (vaak gefinancierd door de softwareleveranciers zelf) werd geconcludeerd dat de algoritmen niet discrimineerden. Deze conclusies waren echter gebaseerd op geaggregeerde data: alle sollicitaties van het hele platform werden op één grote hoop gegooid om de gemiddelde selectieratio’s te berekenen. Op dit macroniveau vallen specifieke verschillen tussen vacatures weg. De auteurs van dit artikel wijzen er op dat discriminatie per specifieke functie (per vacature) moet worden beoordeeld. Daarom hebben de auteurs de dataset gedesaggregeerd: ze splitsten de data op en analyseerden elk van de 1.746 functies afzonderlijk.

Voor elke afzonderlijke vacature maakt het wervingsplatform gebruik van een uniek getraind machine-learning model (Pymetrics) dat sollicitanten classificeert als “aanbevolen” of “niet aanbevolen”. De auteurs berekenden voor elk van deze 1.746 modellen de selectieratio per demografische groep.

Vervolgens pasten ze de officiële Amerikaanse standaard toe voor het vaststellen van een vermoeden van discriminatie: de 4/5-regel* (of de impact ratio). Hierbij deelden ze de selectieratio van de minderheidsgroep (in dit geval zwarte sollicitanten) door de selectieratio van de hoogst scorende groep (witte sollicitanten) voor die specifieke vacature. Als deze verhouding lager is dan 0,8 (oftewel 80%), stelt de Amerikaanse wet dat de selectiemethode een ‘adverse impact’ (negatieve impact) heeft en de groep achterstelt.

Een lage impact ratio kan bij een vacature met weinig sollicitanten puur op toeval berusten. Statistische tests voor significantie (two-sample pooled-proportion z-test, Benjamini-Hochberg correctie) leiden uiteindelijk tot deze cijfers voor alle 1746 modellen (vacatures):

• 10,62% van alle computermodellen (vacatures) vertoonde een statistisch significante achterstelling van zwarte sollicitanten.
• 30,70% van alle zwarte sollicitanten in de dataset had in de praktijk gesolliciteerd op minstens één functie waarvan het algoritme hen objectief achterstelde.
• 25,87% van alle ingediende sollicitaties door zwarte kandidaten was gericht aan een model dat een negatieve impact had op hun groep.

Het geanalyseerde platform maakt gebruik van online games die puur cognitieve en psychologische eigenschappen meten (zoals reactiesnelheid en risicobereidheid) en past actieve ‘debiasing’-technieken toe om demografische kenmerken uit de data te filteren. De auteurs postuleren dat er moet zijn van proxy-discriminatie: de algoritmen zijn zo complex dat ze in het speelgedrag van kandidaten subtiele patronen identificeren die, hoewel ze niet direct over ras gaan, in de praktijk sterk correleren met ras. Omdat de algoritmen worden getraind op basis van de profielen van reeds succesvolle (vaak homogene groep) werknemers binnen een bedrijf, optimaliseert het algoritme voor gedragskenmerken die deze bestaande meerderheid weerspiegelen, waardoor minderheidsgroepen systematisch lagere scores krijgen.

2. Systemische uitsluiting op individueel niveau In een traditionele arbeidsmarkt zijn de beslissingen van verschillende bedrijven onafhankelijk: een afwijzing bij Bedrijf A zegt niets over de kansen bij Bedrijf B. In een algoritmische monocultuur is dit gecorreleerd. Van de sollicitanten die bij 10 verschillende functies binnen dit systeem solliciteerden, werd 4% voor álle posities afgewezen. Dit percentage ligt significant hoger dan op basis van toeval verwacht mag worden. Een kandidaat die door het algoritme eenmaal als “niet aanbevolen” wordt aangemerkt, loopt een systematisch verhoogd risico om overal te worden uitgesloten, los van diens werkelijke kwalificaties.

3. Verhoogde sollicitatie-inspanning De onderzoekers simuleerden scenario’s waarin sollicitanten breder zouden solliciteren. Om in deze monocultuur de kans op een totale systemische afwijzing onder de 0,1% te krijgen, moet een kandidaat minstens 25 keer solliciteren, vergeleken met slechts 10 keer in een situatie waarin werkgevers onafhankelijke, niet-gecentraliseerde selectiemethoden gebruiken.

Slotgedachten
Hoewel de focus in dit onderzoek op ras ligt, is het niet uitgesloten (en zelfs zeer plausibel) dat ook andere biasvormen (geslacht, leeftijd, etc) geconstateerd kunnen worden, als  daar onderzoek op zou worden gedaan. De kern van dit onderzoek is dat wordt geoptimaliseerd op het midden, en daar zal je niet zelden een witte man van bepaalde leeftijd aantreffen, al dan niet vergezeld van zeven vinkjes.

Waarom de auteurs het concept van algoritmische monocultuur introduceren is dat de software (zoals Pymetrics) niet alleen homogeniseerd maar ook nog eens veelvuldig wordt gebruikt, waardoor je als werkzoeker op heel veel verschillende plekken tegen een muur kan lopen. Dit is overigens niet beperkt tot analysesoftware (zoals Pymetrics); Indeed en LinkedIn met hun Apply with <> tactiek zijn een toegangspoort geworden voor een steeds groter deel van werkzoekenden/sollicitanten die vervolgens ongemerkt kunnen worden benadeeld. Niet alleen zijn deze twee bedrijven schoolvoorbeelden van Enshittifcation, maar het zijn ongecontroleerde data grabbers die daarmee de autonomie van werkzoekenden en werkgevers concreet bedreigen.

*Om de werking van de 4/5-regel (of impact ratio) te illustreren, nemen we een fictieve maar representatieve vacature uit de dataset: Data Analist bij een grote financiële instelling, waarbij het selectiealgoritme de eerste schifting maakt.

Het Scenario
Er solliciteren in totaal 1.500 kandidaten via het platform voor deze specifieke functie. Het algoritme beoordeelt de gameplay van de kandidaten en deelt hen in als “aanbevolen” (door naar de menselijke recruiter) of “niet aanbevolen” (afgewezen).

De verdeling van de sollicitanten en de selectieresultaten per groep zien er als volgt uit:

De Stapsgewijze Berekening

Stap 1: Bereken de selectieratio van de hoogst scorende groep (Groep A)

De selectieratio is het percentage sollicitanten binnen een specifieke groep dat door het algoritme wordt goedgekeurd.
Formule: Aantal aanbevolen/Totaal aantal sollicitanten
Berekening Groep A: 400/1.000 = 0,4 oftewel 40%

Stap 2: Bereken de selectieratio van de focusgroep (Groep B)
Vervolgens berekenen we dezelfde ratio voor de zwarte sollicitanten.
Berekening Groep B: 100/500 = 0,2 oftewel 20%

Stap 3: Bereken de Impact Ratio

De 4/5-regel vergelijkt de twee ratio’s rechtstreeks met elkaar door de ratio van de minderheidsgroep te delen door die van de hoogst scorende groep.

Impact Ratio = Selectieratio Groep B/Selectieratio Groep A

Berekening:0,20/0,40 = 0,5

De berekende impact ratio voor deze specifieke vacature is dus 0,5 (oftewel 50%).

Stap 4: Toetsen aan de wettelijke standaard

De Amerikaanse wet- en regelgeving stelt de grens strikt op 0,80 (80%).

De conclusie van de toets: > Omdat de berekende impact ratio van 0,50 ruim onder de wettelijke ondergrens van 0,80 ligt, is er voor deze vacature sprake van een zeer sterk vermoeden van een adverse impact. Het algoritme discrimineert zwarte sollicitanten bij deze specifieke functie.