- Recruitment Matters – Alles over online recruitment - http://recruitmentmatters.nl -

Upscored, matchen met machine learning

image [1]Ze worden nog altijd gelanceerd, match-engines die de wereld van recruitment gaan veranderen. Upscored is de nieuwste loot aan een ondertussen wijdvertakte matchingsboom waar al heel wat dood hout tussen zit. Bij elke nieuwe annoncering leeft bij mij de hoop weer op dat dit keer het iemand wel is gelukt om een relevante match-engine voor het recruitment-domein te ontwikkelen. Helaas ben ik even zovele keren (zwaar) teleurgesteld in het resultaat.

Upscored laat bij mij die hoop dus weer opleven, al vrees ik het ergste als ik de marketing babbel lees:

By leveraging our experience with natural language processing and machine learning we’ve built a next-generation career matching platform

end-to-end smart talent marketplace…

the power of our data science…

Nu is het zo dat je om op te vallen tegenwoordig op zijn minst machine learning en big data als buzzwords in je pitch hebt zitten anders ben je op voorhand al afgeserveerd. Maar uiteindelijk moet jouw applicatie wel een echte meerwaarde bieden en dat is waar match engines tot op heden nooit thuis hebben gegeven. Eens zien of Upscored daar verandering in  brengt.

Homepage
De homepage van Upscored ziet er zo uit:

image [2]

Dat ziet er behoorlijk duister uit…

Dit is wat Upscored zegt over haar dienst:

image [3]

Mijn cv wordt dus blijkbaar geparsed, dat is makkelijk. En vervolgens gematched tegen (curated?) vacatures waarbij ik de resultaten moet beoordelen, op basis waarvan ik Upscored vervolgens mag laten leren hoe het wel moet. Want ik moet op basis van de getoonde vacatures aangeven welk ik wel en welke ik niet geschikt vind. Pandora style…

En wat is hiervan nou allemaal het voordeel voor mij? Volgens Upscored het volgende:

image [4]

Toe maar… Ik ga ‘careers’ ontdekken waar ik nog nooit aan had gedacht, ik hoef niet meer te zoeken, mijn gaps worden automatisch herkent. Het kan niet op. En ook het feit dat ik Upscored moet leren wat wel en wat niet goed is, wordt door Uscored als een voordeel gezien. Mij lijkt het me vooral vervelend dat Upscored me niet meteen zinnige vacatures kan laten zien, maar dit terzijde. En dan is er nog het laatste, Upscore laat mij vacatures (en natuurlijk geen ‘careers’) zien die zijn gebaseerd op mijn werkervaring, opleiding en vaardigheden. Dat schiet dus niet op als ik nog geen werkervaring heb en dus ook wat krap in mijn (hard) skills zal zitten.

Na registratie (naam, email adres en wachtwoord (die ik maar één keer hoef op te geven: goed!)) krijg ik het volgende scherm te zien:

image [5]

 

Ik kan blijkbaar een blacklist aanleggen van bedrijven die mijn profiel niet mogen zien. Zegt Upscored hiermee dat by default mijn profiel zichtbaar is? Daar wordt ik niet vrolijk van. Ook kan ik na het doorlopen van het registratieproces geen wijzigingen maken in mijn blacklist. Ik heb nergens meer een verwijzing kunnen vinden.

Nadat ik in de eerste stap mijn cv heb geplakt, word ik in de tweede stap gevraagd om skills. Waarbij er een aantal skills worden gesuggereerd (op basis waarvan?):

image [6]

Skills blijken een ellenlange lijst van kenmerken te zijn die via een autocomplete functie worden aangeboden als ik begin te typen in het invoerveld. Uiteindelijk kies ik voor de volgende skills:

image [7]

 

Na het uitpluizen van de skills moet ik mijzelf beschrijven via drie sliders:

image [8]

Lekker makkelijk, maar wat gaat dit vervolgens betekenen?

Als ik alles heb ingevuld is het tijd om de eerste resultaten te bekijken. Altijd weer een spannend en verwachtingsvol moment:

image [9]

Daarmee is per direct duidelijk dat Upscore weliswaar stelt dat matching op basis van werkervaring, opleiding en skills gebeurt maar dat in werkelijkheid de werkervaring geen (grote) rol speelt . Ik heb heel wat werkervaringen maar niet één daarvan is zelfs bij benadering een recruitment functie.  Dit is verwarrend.

En wat is die Upscore eigenlijk? Nou, dit:

image [10]

De relevantie van mijn experience ten opzichte van de job description = nul. Dus waarom dan die Upscore van 99?

De Skill View laat mij zien hoe mijn skill set overeenkomt (in dit geval met die van de functie van Senior Recuiter bij het bedrijf Blue Apron):

image [11]

Ik kan me evenmin voorstellen dat wanneer slechts 3 van de 5 skills overeenkomen er sprake kan zijn van een Upscore van maar liefst 87 uit 100.

Door het tonen van een matchscore geeft Upscored mij de suggestie dat zij heel nauwkeurig de kwaliteit van de match kan bepalen. Maar als vervolgens blijkt dat die Upscore heel ver van mijn verwachting ligt, is er sprake van verwarring aan mijn kant, gevolgd door de conclusie dat er niets van klopt. Waardoor ik de Upscore als buitengewoon suspect ga beschouwen.

Ik probeer daarom maar met de mogelijkheid om een duimpje omhoog en duimpje omlaag aan te geven welke van de vacatures ik wel interessant vind, uiteindelijk zou Upscore hiervan moeten leren en mij beter passende vacatures tonen.  Helaas… Alle inspanningen maken niets uit, de enige vacatures die ik nu nog te zien krijg zijn de vacatures die ik een duimpje omhoog heb gegeven. Ook veranderingen in mijn skill set leveren geen andere resultaten op. Ik zit vast in een keurslijf waar ik niets aan lijk te kunnen veranderen.

Verder is het ook niet mogelijk om mijn werkervaringen te zien en waar nodig eventueel aan te passen, Upscored biedt mij hiervoor geen mogelijkheid. En helaas is Upscored ook een Hotel California applicatie. Ik kan me wel registeren maar ik kan mijn account niet verwijderen. Ik mag niet vertrekken van Upscored. Jammer…

Ik ben er wel klaar mee, Upscored is een teleurstelling.

Slotopmerkingen
Ik heb geen idee waar data science, natural language processing of machine learning binnen Upscored wordt gebruikt. Eerlijk gezegd interesseert het me ook helemaal niets. Want uiteindelijk interesseer ik me alleen voor de vacatures die mij getoond worden en de mate waarin deze aan mijn verwachting voldoen. En daar schiet Upscored volstrekt tekort. Helaas valt Upscored daarmee in het al behoorlijk lange rijtje van (overbodige) match-engines die het mij moeilijk maken om in matching te blijven geloven:

Who’s next?

11 reacties (Openen | Sluiten)

11 reacties Aan "Upscored, matchen met machine learning"

#1 Reacties Door Gerard Pruim Op 9 januari 2017 @ 14:29

Beste Marc,
 
Interessante blog. Het lijstje met (bijna) overleden match-engines geeft te denken. Ik begrijp dat het lastig is om match-engine tre bouwen. Hoe gaat 360social.me wel de beste kandidaat voor een baan vinden? De tool lijkt me handig om alles van iemand online in één footprint te kunnen zien, maar hoe helpt het bij het vinden van de beste kandidaat (wat als claim op de site staat)? Of ben je daar niet meer bij betrokken?
 
Vriendelijke groet,
Gerard Pruim

#2 Reacties Door Marc Drees Op 9 januari 2017 @ 14:50

360social is geen match-engine maar een social cross-reference tool. Dus ik kan de belofte dat deze tool de beste kandidaat kan vinden niet plaastsen. Ik ben overigens al geruime tijd niet meer betrokken bij dit initiatief.

#3 Reacties Door Gerard Pruim Op 9 januari 2017 @ 15:07

Op de site van 360scial.me staat onder Whu use it: Find the best candidate for the job. 
 
[29]

#4 Reacties Door Marc Drees Op 9 januari 2017 @ 16:44

Ik weet het, ik heb het ook gezien. Maar als je niet weet tegen welke vacature een persoon moet worden vergeleken dan kan je nooit zeggen dat je de beste kandidaat hebt gevonden. Het is dus een claim die een social cross-referencing tool nooit en te nimmer kan maken. Maar laten we eerlijk zijn, ze zijn niet de enige die beloftes doet die niet nagekomen kunnen worden.

#5 Reacties Door Gerard Pruim Op 9 januari 2017 @ 22:01

Het zou mooi zijn als er een freemium oplossing zou komen (zoals je mede-blogger Dirk aangeeft), gebaseerd op de werking van Textkernel die de werkzoekenden meer eigenaarschap geeft. Daar kun je dan weer allerlei andere diensten op bouwen die ook interessant voor bedrijven kunnen zijn. Bijvoorbeeld gerelateerd aan een leven lang leren, of werkplekleren.Uit de andere blogs lees ik dat het voor een groot deel ook een communicatieprobleem is verzoorzaakt door techneuten. Anders trek je geen bezoekers. Wel interessant om te lezen hoe een hype tegen je kan werken. Is een oplossing gebaseerd op conversatie (chatbot) nog een topic om aandacht aan te besteden? Zoals Cyra bijvoorbeeld (in beta). Of valt dat ook onder dezelfde noemer?

#6 Reacties Door Marc Drees Op 10 januari 2017 @ 08:17

Wat bedoel je met een freemium oplossing die de werkzoekende meer eigenaarschap geeft? Wat voor functie(s) heeft die oplossing dan in jouw optiek?

#7 Reacties Door Gerard Pruim Op 10 januari 2017 @ 13:11

Stel dat je de rollen om kan draaien. De werkzoekende kan “aangeven welke footprints hen op het juiste spoor zetten en welke niet”. De vorm van de footprints optimaliseert op die manier. Als dit model in basis gebruik gratis is, krijgt een werkzoekende meer eigenaarschap en kan deze zelf aangeven wanneer hij klaar is voor een nieuwe uitdaging. Je kunt er dan allerlei andere diensten op bouwen waar een onderneming niet alleen in het recruitment proces profijt van heeft, maar ook bij bijvoorbeeld het ontwikkelen van de medewerkers. Een leven lang leren mogelijk maken zou je hier ook bij kunnen betrekken. Een digitale footprint is niet voor idereen de maatstaf: vaak zijn er vaardigheden die niet met een diploma onderschreven worden. Collega’s kunnen dat bijvoorbeeld wel als ze zelf ook een bepaalde reputatie hebben. Onderschrijvingen vanuit je netwerk zouden meer vertrouwd worden als daar een infrastructuur voor is (niet zoals op LinkedIn). daarmee krijg je een meer holistisch beeld wat iemand kan. Je bent meer dan je CV.PS: Ik krijg geen melding als er een reactie is op deze posts. In de spam zit het ook niet. Klopt het dat er geen melding volgt? Waarom moet ik dan een mailadres opgeven?

#8 Reacties Door Marc Drees Op 10 januari 2017 @ 14:22

Oké, ik denk dat ik het begrijp. Waar een Airbnb of Tripadvisor review slechts met de nodige reserve is te vertrouwen (massa = meer) daar zal een vaardigheidsreview het niet makkelijker krijgen. Denk je dan aan zoiets als TruQu?Ten aan zien de PS: volgens mij is er dan iets stuk aan de site, ik laat het even nakijken. Bedankt voor het attenderen! 

#9 Reacties Door Gerard Pruim Op 10 januari 2017 @ 22:30

Dankzij je review over Truqu ( [30]) kan ik je zeggen dat dat het niet is! Maar misschien zijn ze dankzij je opbouwende kritiek uit de beta fase en kun je je onderschrijvingen krijgen op een manier die zo simpel zou moeten zijn een klik een pagina. Daarbij werkt 360social.me inderdaad een stuk beter! Of de manier waarop je op Elance, de voorganger van Upwork een review kon plaatsen.De vraag What’s in it for me zou kunnen zijn dat je aanbevelingen/suggesties krijgt: bezoek een seminar, neem een cursus, MOOC of een boek. Net als bij Degreed.com kun je ook zelf bronnen toevoegen, maar dan mede op basis van de onderschrijvingen die je hebt ontvangen. Het facilteren van het beschrijven en bewijzen van je eigenwaarde. Bij het concept ‘reviews vragen’ (eigenlijk is het een informele manier van erkennen; diploma’s & certificaten zijn de formele varianten) is de essentie volgens mij of die reviews wel betrouwbaar zijn. Als je dat lukt om die betrouwbaar te maken door het ontwikkelen van een open ‘trusted’ infrastructuur die iedereen kan gebruiken, zijn ze uitwisselbaar. En hoef je ook niet elke keer weer een nieuwe gesloten silo te lanceren. Daarmee creeer je eigenaarschap bij een individu (ook handig met de nieuwe AVG regelgeving die in 2018 van kracht gaat worden). En dragen we hopelijk zo bij aan een leven lang leren, waarbij het aantrekken, motiveren en ontwikkelen van mensen uiteraard een belangrijk aspect is voor de werk- of opdrachtgever.

#10 Reacties Door Gerard Pruim Op 10 januari 2017 @ 22:32

PS: twee witregels plaatsen lukt ook niet door 2 x op Enter te drukken.

#11 Reacties Door Marc Drees Op 11 januari 2017 @ 15:02

Het is mij bekend. Wat niet hetzelfde is als: het is binnenkort opgelost…

#12 Pingback Door untapt, matchen met machine learning | Matching technologie | Recruitment Matters – Alles over online recruitment Op 12 januari 2017 @ 06:31

[…] heb de smaak weer een beetje te pakken na de review van Upscored, een match-engine die gebruik gemaakt van machine learning. Jawel, we hebben een ‘nieuwe’ rage […]

#13 Pingback Door Whitetruffle revisited. Geen verbetering, integendeel | Matching technologie | Recruitment Matters – Alles over online recruitment Op 13 januari 2017 @ 09:12

[…] daarmee schaar ik Whitetruffle in het rijtje van machine learning match-engines zoals Upscored en untapt. De vraag is natuurlijk of de resultaten van Whitetruffle net zo beroerd zijn als die van […]