Algoritmes zijn net zo racistisch als mensen in recruitment

Guido Rosa/Getty Images/Ikon Images

Recruitment en HR krijgen steeds meer te maken met algoritmes. Mijn klanten maakten dan ook steeds meer gebruik van algoritmes in de afgelopen 10 jaar,zowel direct als indirect. Efficiëntie maar ook vaak de wens van effectiviteit zijn drijfveren om nieuwe ontwikkelingen te volgen en om ermee te experimenteren. Bij de innovatietrajecten waarbij ik betrokken was en nog steeds ben, zag ik vaak dat experimenten veranderingen in het werk zetten en zo de continuïteit van de organisatie borgen. Helaas worden ook veel aannames over nieuwe technieken voor zoete koek geslikt, soms door de resultaten smakelijker gemaakt en vaak is de wens de vader van de gedachte.

In recruitment spelen vooroordelen en oordelen over mensen de hoofdrol. De recruiter balanceert altijd op de lijn van oordeel en vooroordeel.  Brieven en cv’s beoordelen en conclusies trekken over of iemand goed is in zijn werk is lastig. Laat staan of iemand goed zal zijn in zijn werk in de toekomst. Daarnaast zijn sollicitanten ook niet altijd helemaal correct in hun presentatie van resultaten in brief en cv.  Discriminaties op ras, afkomst en geloof bij deze beoordelingen blijken telkens weer in de praktijk voor te komen. Tijdens de sollicitatiegesprekken is vaak de persoonlijke klik doorslaggevend en niet per se het vermogen een taak goed uit te kunnen voeren. De lijst met veelgemaakte fouten in het recruitmentproces door mensen is veel langer te maken. Alleen al daarom is een selectie op basis van een computeralgoritme in plaats van een mens misschien niet eens zo’n gek idee. Maar is dat terecht?

In mijn blogs zwem ik wel vaker tegen de stroom in van de rivier van wat mensen willen geloven over de vernieuwingen in recruitment en HR.  Wat willen we allemaal geloven en wat klinkt aannemelijk?

  • Chatbots geven de kandidaat een betere ervaring. Ze zijn 24 uur aanwezig en zijn foutloos.
  • Door gebruik van video-interviews en video-cv’s krijgen we een beter, sneller en meer gestructureerd beeld van de kandidaat
  • Door de bovenstaande technieken te combineren met algoritmes die ook gekoppeld zijn aan assessments kunnen er weloverwogen selecties worden gemaakt. Hier gaat het om algoritmes die ook zitten in bijvoorbeeld “serious gaming”, assessments op gezichtsuitdrukkingen of analyses van social-media gedrag.
  • Tot slot: AI en zelflerende machines zorgen uiteindelijk voor een nog veel beter resultaat.

Op eerste gezicht klinkt het heel aannemelijk maar toch een aantal tegenargumenten:

  • Chatbots kunnen vastlopen in een vraag-en-antwoord spel als het algoritme de vraag niet heeft geclassificeerd. Na een aantal keer het antwoord van een chatbot “Ik heb uw vraag niet begrepen, kunt u het anders formuleren?”, wordt de ervaring snel minder. De fouten mogen ingeprogrammeerd zijn, maar chatbots zijn niet foutloos. Chatbots worden zeker niet als foutloos ervaren en al helemaal niet als toepasselijk. In de praktijk is de urgentie om met een chatbot te communiceren van mensen niet erg groot en haken veel mensen af.
  • Algoritmes die worden gebruikt hebben veel vooroordelen. Sterker nog, ieder vooroordeel van mensen kan in een algoritme terecht komen en er komen er ook een aantal bij.

Op dit laatste argument ga ik wat dieper in en ook op de gevaarlijke resultaten

die dat kan hebben.  Iedere programmeur kent de uitspraak “Garbage-in, Garbage-out”.  Het vooroordeel zit in data zelf, de selectie van de data of in het programma om de patronen in de data te herkennen. Het vooroordeel wordt dan door de data bepaald. Een goed voorbeeld is het risicoanalyse-programma van gevangen in USA dat kon worden ingezet bij het proces om

mensen op borg vrij te laten. Het systeem bleek uiteindelijk racistisch.  Zwarten werden door het programma ten onrechte slechter behandeld dan blanken.

Het grappigste vind ik het voorbeeld van een vooroordeel dat een chatbot werd aangeleerd door te leren van de interacties. Met wie je omgaat maakt wie je bent, ook bij algoritmes. Tay werd in 2016 door Microsoft als twitterbot op Twitter gelanceerd om communicatie online beter te begrijpen.  Binnen 24 uur was Tay zo racistisch en vuil gebekt dat de bot offline moest worden gezet. Kennelijk wordt taal het snelst begrepen als men vloekt en dat gold in dit geval voor Tay.

Een vooroordeel kan ook langzamer naar voren komen in een algoritme. Net als een vooroordeel dat het algoritme leert van met ons omgaan, kunnen wij ook een vooroordeel krijgen van met het algoritme omgaan. Wij krijgen iets te zien wat een algoritme bepaalt, daar hebben we een reactie op en daardoor bouwen we langzaam een vooroordeel op over wie wij zelf zijn of wie een ander is.  Facebook laat ons zien wat wij volgens een algoritme mogen of moeten zien, dit vinden we dan weer leuk met duimpjes en commentaar. Na enige tijd hebben we onze eigen bubbel gecreëerd van vooroordelen over wat we leuk vinden en niet leuk vinden, en doordat er geen andere invloeden van buitenaf waren of komen blijft dit vooroordeel bestaan.

Nog erger wordt het als we het resultaat van het vooroordeel leuk of prettig vinden. Google reikt ons steeds beter aan wat wij willen zien. Net als de facebook bubbel maar dan een vooroordeel wat we prettig vinden, omdat de suggesties lijken op wat we willen zien. Google Jobs laat straks zien wat we willen zien, niet per se wat het best is voor je om te zien. Onze wensen en het vooroordeel van het algoritme lopen synchroon.

De vooroordelen kunnen ook simpelweg in een algoritme komen omdat er verschillende belangen zijn. Als er een algoritme ontwikkeld wordt om ervoor te zorgen dat er vaker op vacatures wordt geklikt op basis van profielen, moet men niet verbaasd zijn als men op basis van sekse, ras en geloof stereotype profielen maakt die uiteindelijk vooroordelen versterken.

Algoritmes krijgen hun vooroordelen van mensen, maar de vooroordelen nemen andere vormen aan.  Net als het voorbeeld in mijn blog “Big data maakt alles Big” waar wij verkeerde conclusies kunnen trekken uit big data, kan een algoritme dat ook, en beter.  Als wij blind gaan vertrouwen op de mensen die ons deze vernieuwingen leveren en op de algoritmes die zij bouwen, maken we brokken. Maar dat deden we zonder algoritmes ook al.

Geef een reactie

2 Comments
  • Herbert Prins
    says:

    Dit is een recovery is van het commentaar (dit blog is hersteld)

    @hprins
    17h17 hours ago
    More
    Algoritmes zijn net zo racistisch als mensen in recruitment
    http://recruitmentmatters.nl/2018/02/14/algoritmes-zijn-net-zo-racistisch-als-mensen-in-recruitment/ … #recruitment #chatbot ook voor @jaccovTranslate from Dutch

    2 replies 3 retweets 0 likes
    Reply 2 Retweet 3 Like View Tweet activity

    Aaltje Vincent

    @aaltjevincent
    5h5 hours ago
    More
    Ik mis naast ras, sekse en geloof de leeftijd.

    Translate from Dutch
    1 reply 0 retweets 1 like
    Reply 1 Retweet Liked 1 Direct message

    Herbert Prins

    @hprins
    4h4 hours ago
    More
    O zeker ook seksualiteit, politieke voorkeur, handicap, en ga zomaar door , Heb er drie genoemd

    Translate from Dutch
    1 reply 0 retweets 0 likes
    Reply 1 Retweet Like View Tweet activity

    Aaltje Vincent

    @aaltjevincent
    2h2 hours ago
    More
    Colin Lee onderzocht leeftijd als het belangrijkste na je werkervaring @nrcTranslate from Dutch

    1 reply 0 retweets 1 like
    Reply 1 Retweet Liked 1 Direct message

    Herbert Prins

    @hprins
    2h2 hours ago
    More
    Ja dat is een hele goed voorbeeld na mijn blog over bigdata las ik dit artikel. Vind je het goed als ik naar je commentaar verwijs bij http://recruitmentmatters.nl/2018/02/14/algoritmes-zijn-net-zo-racistisch-als-mensen-in-recruitment/ … ? Of wil je zelf je commentaar en linkje daar noemen? Mooie aanvullingTranslate from Dutch
    1 reply 0 retweets 1 like
    Reply 1 Retweet Like 1 View Tweet activity

    Aaltje Vincent ‏
    @aaltjevincent
    Follow Follow @aaltjevincent
    More
    Replying to @hprins @jaccov @nrc
    Verwijzen is prima, leuk! Ik zit nu bij @jaccov in de training, dus kan nu niet zelf reageren.

    Translate from Dutch
    1:27 PM – 15 Feb 2018

    Reageer

    Laurens Tienkamp 15 februari 2018 om 18:12
    Mooi artikel Herbert, maar je mag wel ff wat energie steken in die Twitter-conversatie 🙂

    Reageer

    Herbert Prins 16 februari 2018 om 17:19
    onkunde van mijn kant

    Reageer

    Jacco Valkenburg 15 februari 2018 om 20:48
    De titel is tendentieus maar gelukkig zeg je niet dat alle algoritmes racistisch zijn. Dat zou onjuist en, uhm, discriminerend zijn ;-)De voorbeelden die je noemt waren mij bekend. En er zijn meer voorbeelden van ontspoorde chatbots en algoritmes met ingebakken vooroordelen. Ik zie dat zelf als kinderziekten en leerervaringen die horen bij experimenteren met nieuwe technologie.

    Terecht zeg je “Garbage-in, Garbage-out” en het fraaie is dat algoritmes dit, soms pijnlijk, duidelijk maken. Dat is winst en een heel positieve ontwikkeling!

    Reageer

    Herbert Prins 15 februari 2018 om 22:05
    @Jacco, dank voor jouw reactie. Het is niet de bedoeling om een tendieus titel aan dit blogje te geven. In mijn optiek zal de mens bepalen hoe dicriminerend een algforitme zal zijn. Een algoritme zal zeker geen discriminatie voorkomen en ook geen enkele bias voorkomen. De biasen krijgen slechts een andere vorm en zijn soms minder zichtbaar/transparant. En soms maakt een algoritme dan een bias dus juist minder zichtbaar. Natuurlijk brengt iedere verandering met als doel verbetering een les en vaak ook verbeteringen.

    Reageer

    soylatino 16 februari 2018 om 17:16
    Thanks for these useful tips

    Reageer

    Rioverde 25 februari 2018 om 21:04
    Thank you for this post. Its very inspiring.