Waarom Werk.nl niet goed werkt

Logotype Werk.nlNa een week waarin ik twee voor UWV/Werk.nl cruciale technology providers (Textkernel en WCC) heb gesproken, gaan de gedachten onvermijdelijk terug naar alle berichten in de media over de slechte kwaliteit van het zoekresultaat binnen Werk.nl. Want hoe is het toch mogelijk dat ondanks de inzet van twee van de meest geavanceerde technologieleveranciers ter wereld, Werk.nl niet in staat lijkt te zijn om de juiste vacatures te tonen.

Het antwoord is relatief simpel en dat maakt het extra schrijnend dat er nog altijd geen oplossing is gerealiseerd voor dit ‘probleem’. De primaire fout is namelijk dat UWV gebruik maakt van zowel de technologie van Textkernel als die van WCC. En verder heeft UWV een taxonomie (de fameuze beroepen en opleidingentabel) die nog extra roet in het eten gooit.

Logotype TextkernelTextkernel
Textkernel levert sinds jaar en dag extractietechnologie. Daarmee kunnen cv’s worden geextraheerd en het resultaat gestructureerd en geuniformeerd. Verdomde handig omdat je hiermee vrije tekst in gestructureerde data om kan zetten. En Textkernel levert sinds jaar en dag ook vacature extractietechnologie, op dit moment vooral (of exclusief) in de vorm van Jobfeed. In dit geval zijn de vacatures dus geextraheerd, gestructureerd en geuniformeerd. Sinds kort levert Textkernel ook matchingtechnologie, waarmee vraag en aanbod aan elkaar gekoppeld kunnen worden. In het geval van Textkernel gaat het om het zogenaamde semantisch matchen.

De extractietechnologie van Textkernel is proven technology, de matchingtechnologie is relatief nieuw

Logotype WCCWCC
WCC levert sinds jaar en dag matchingtechnologie. Hoewel mogelijk een onbekende partij is WCC hofleverancier van overheden (o.m. Nederland, Belgie, Duitsland, Frankrijk) en zeer grote intermediairs (Randstad, Adecco). WCC spreekt over fyzzy en/of bidirectioneel matchen. Sinds kort levert WCC ook extractietechnologie voor cv’s en vacatures.

De matchingtechnologie van WCC is proven technology, de extractietechnologie is (relatief) nieuw

UWV
UWV gebruikt de door Textkernel geextraheerde vacatures binnen Werk.nl om werkloze werkzoekenden met een uitkering een groter vacature-aanbod te bieden. Zij kunnen zoeken in dit grotere vacature-aanbod via Werk.nl. Hierbij dienen de door Textkernel geextraheerde en gestructureerde vacatrues te worden omgezet naar de tabelstructuur van UWV (beroepen- en opleidingen tabel).

Vacature-, en cv-, extractie is 100% automatisch en daarmee nooit 100% foutloos. Het betekent onder meer dat er classificatiefouten kunnen plaatsvinden, zoals het verkeerd interpreteren van de functie in een vacature. Waarmee in theorie een vacature voor een bordenwasser na extractie als business consultant door het leven gaat. Oke, enigszins overdreven, maar je begrijpt het principe hopelijk. En de kans op fouten wordt verder verhoogd door het gebruik van de complexe tabelstructuur van UWV, waardoor de classificatie niet 1 maar 2 keer dient plaats te vinden. Met als een logisch gevolg een grotere foutkans

De aldus geextraheerde en gestructureerde vacatures worden in blind vertrouwen door de match-engine van WCC gekoppeld aan de zoekvraag van de werkloze werkzoekende. En presto, in een aantal gevallen krijg je dan krankzinnge zoekresultaten waar de massamedia zoveel plezier mee heeft gehad.

Ieder probleem met de uiteindelijke ‘match’kwaliteit kan in theorie door Textkernel en WCC worden afgedaan met het wijzen naar de ander. Hoewel ik beide partijen als zeer professioneel inschat is het in conflictsituaties niet ongewoon dat eerder defensief dan participerend wordt gereageerd met als gevolg een soort loopgravenoorlog. En dat levert zelden het gewenste resultaat in de kortst mogelijke tijd. Zeker als er ook nog eens een overheidsinstantie tussen zit die bewezen incompetent is in het oplossen van technische problemen.

Maar uiteindelijk is de werkzoekende het kind van de rekening. En dat is het overschrijdende belang. Dus wat te doen?

Oplossingen
Als UWV nog altijd geen gebruik maakt van een standaard classificatie dan dient ze dat als de wiedeweerga te doen. Want dat zou aan de voorkant al heel wat problemen voorkomen. Homegrown classificaties zijn niet van deze tijd.

Daarnaast is het bijzonder aan te bevelen om het aantal technologische oplossingen voor een dergelijk kernproces te reduceren van 2 naar 1. Waarbij voor Textkernel, voor WCC of voor een derde partij gekozen zou kunnen worden. Door dit kernproces bij 1 partij te leggen voorkom je enige vingerwijzerij en heb je een direct aanspreekpunt in geval van problemen. Met een pay for performance model erbij heb je ook nog en financiele prikkel om deze problemen zoveel mogelijk te voorkomen. Waarbij het overigens een illusie is om te denken dat volledig automatische classificatie 100% correct zal verlopen. Er zullen altijd gevallen blijven van verkeerde automatische interpretatie, het gaat slechts om het maximaal terugdringen van het aantal.

Bij een keuze voor Textkernel is de schaalbaarheid, stabiliteit en kwaliteit van het matchingproces de grote onbekende. Bij een keuze voor WCC is de kwaliteit (schaalbaarheid en stabiliteit zijn de fundamenten van de WCC propositie) van het extractieproces de grote onbekende. Maar in beide gevallen wordt gekozen voor een bekende leverancier met een lange historie bij UWV. En daarmee een hoge kans op een goed werkende totaaloplossing.

Natuurlijk kan ook een andere partij worden gekozen, maar daarvan zijn er niet zoveel. Hoor ik daar 6Sense zeggen? Fair enough, maar ben je bekend met het feit dat voor extractie 6Sense in mainland Europe gebruik maakt van Textkernel? Actonomy? Jongens, wel even serieus blijven, dat is een partij voor het kleine werk. daXtra dan? Zeker een mogelijkheid, ik heb in de afgelopen jaren hun producten (extractie en matching) niet meer gevolgd. En ik weet niet of zij in hoog-volume omgevingen enige referentie hebben. Een keuze voor een nieuwe partij is natuurlijk een meer riskante keuze, omdat je in dit geval geen van de cruciale componenten (extractie en matching) kent, niet in termen van kwaliteit noch in termen van stabiliteit en schaalbaarheid.

Hoe dan ook, oplossingen zijn er genoeg. De vraag is slechts of en wanneer UWV serieus werk wenst te maken van het bieden van een zo optimaal mogelijke zoekervaring voor werkzoekenden. Moest UWV tenslotte niet iets doen rondom het transparant maken van de arbeidsmarkt?

Geef een antwoord

2 Comments
  • Dirk Goossens
    says:

    Goed bezig, Marc. 
     
    Hier nog wat quick wins.
     
    Een (haalbare) mogelijkheid is duidelijk en eerlijk uitleggen aan werklozen waarom ze passende én niet passende vacatures voorgeschoteld krijgen. Dat dat komt door technische uitdagingen én doordat er geen geld is om de matchresultaten onder eindredactie van een mens te plaatsen. Leg ze duidelijk uit dat hun uitkering intact blijft als ze de verkeerde matches negeren.
    Enne, zijn de resultaten voorzien van een feedbacklinkje? Dat geeft werklozen een uitlaatklepje en is een reuzehulp voor de classificatievectoren.
     
    Inzetten van een mensvormige eindredactie kan ook helpen als je deze alleen laat kijken naar de ‘onzekere’ matches.
     

    • Marc Drees
      says:

      Helemaal waar en het pleit eens te meer voor een single vendor oplossing.
       
      Overigens zijn in de huidige sitiuatie ‘onzekere’ matches (het zijn voor zover mij bekend ook geen matches maar searches) niet aan de orde, tenzij Textkernel de betrouwbaarheid van haar classificatie meegeeft aan de matchengine van Elise zodat hiermee rekening kan worden gehouden. Overigens ga ik er gemakshalve vanuit dat de technologie ook foute classificaties een 100% betrouwbaarheid zou kunnen meegeven. Maar een inschatting meegeven zal zeker behulpzaam kunnen zijn.
       
      Menselijke redactie is helemaal e prefereren, maar ik heb iets begrepen over een kleine budgetkrimp bij UWV