Upscored, matchen met machine learning

imageZe worden nog altijd gelanceerd, match-engines die de wereld van recruitment gaan veranderen. Upscored is de nieuwste loot aan een ondertussen wijdvertakte matchingsboom waar al heel wat dood hout tussen zit. Bij elke nieuwe annoncering leeft bij mij de hoop weer op dat dit keer het iemand wel is gelukt om een relevante match-engine voor het recruitment-domein te ontwikkelen. Helaas ben ik even zovele keren (zwaar) teleurgesteld in het resultaat.

Upscored laat bij mij die hoop dus weer opleven, al vrees ik het ergste als ik de marketing babbel lees:

By leveraging our experience with natural language processing and machine learning we’ve built a next-generation career matching platform

end-to-end smart talent marketplace…

the power of our data science…

Nu is het zo dat je om op te vallen tegenwoordig op zijn minst machine learning en big data als buzzwords in je pitch hebt zitten anders ben je op voorhand al afgeserveerd. Maar uiteindelijk moet jouw applicatie wel een echte meerwaarde bieden en dat is waar match engines tot op heden nooit thuis hebben gegeven. Eens zien of Upscored daar verandering in  brengt.

Homepage
De homepage van Upscored ziet er zo uit:

image

Dat ziet er behoorlijk duister uit…

Dit is wat Upscored zegt over haar dienst:

image

Mijn cv wordt dus blijkbaar geparsed, dat is makkelijk. En vervolgens gematched tegen (curated?) vacatures waarbij ik de resultaten moet beoordelen, op basis waarvan ik Upscored vervolgens mag laten leren hoe het wel moet. Want ik moet op basis van de getoonde vacatures aangeven welk ik wel en welke ik niet geschikt vind. Pandora style…

En wat is hiervan nou allemaal het voordeel voor mij? Volgens Upscored het volgende:

image

Toe maar… Ik ga ‘careers’ ontdekken waar ik nog nooit aan had gedacht, ik hoef niet meer te zoeken, mijn gaps worden automatisch herkent. Het kan niet op. En ook het feit dat ik Upscored moet leren wat wel en wat niet goed is, wordt door Uscored als een voordeel gezien. Mij lijkt het me vooral vervelend dat Upscored me niet meteen zinnige vacatures kan laten zien, maar dit terzijde. En dan is er nog het laatste, Upscore laat mij vacatures (en natuurlijk geen ‘careers’) zien die zijn gebaseerd op mijn werkervaring, opleiding en vaardigheden. Dat schiet dus niet op als ik nog geen werkervaring heb en dus ook wat krap in mijn (hard) skills zal zitten.

Na registratie (naam, email adres en wachtwoord (die ik maar één keer hoef op te geven: goed!)) krijg ik het volgende scherm te zien:

image

 

Ik kan blijkbaar een blacklist aanleggen van bedrijven die mijn profiel niet mogen zien. Zegt Upscored hiermee dat by default mijn profiel zichtbaar is? Daar wordt ik niet vrolijk van. Ook kan ik na het doorlopen van het registratieproces geen wijzigingen maken in mijn blacklist. Ik heb nergens meer een verwijzing kunnen vinden.

Nadat ik in de eerste stap mijn cv heb geplakt, word ik in de tweede stap gevraagd om skills. Waarbij er een aantal skills worden gesuggereerd (op basis waarvan?):

image

Skills blijken een ellenlange lijst van kenmerken te zijn die via een autocomplete functie worden aangeboden als ik begin te typen in het invoerveld. Uiteindelijk kies ik voor de volgende skills:

image

 

Na het uitpluizen van de skills moet ik mijzelf beschrijven via drie sliders:

image

Lekker makkelijk, maar wat gaat dit vervolgens betekenen?

Als ik alles heb ingevuld is het tijd om de eerste resultaten te bekijken. Altijd weer een spannend en verwachtingsvol moment:

image

Daarmee is per direct duidelijk dat Upscore weliswaar stelt dat matching op basis van werkervaring, opleiding en skills gebeurt maar dat in werkelijkheid de werkervaring geen (grote) rol speelt . Ik heb heel wat werkervaringen maar niet één daarvan is zelfs bij benadering een recruitment functie.  Dit is verwarrend.

En wat is die Upscore eigenlijk? Nou, dit:

image

De relevantie van mijn experience ten opzichte van de job description = nul. Dus waarom dan die Upscore van 99?

De Skill View laat mij zien hoe mijn skill set overeenkomt (in dit geval met die van de functie van Senior Recuiter bij het bedrijf Blue Apron):

image

Ik kan me evenmin voorstellen dat wanneer slechts 3 van de 5 skills overeenkomen er sprake kan zijn van een Upscore van maar liefst 87 uit 100.

Door het tonen van een matchscore geeft Upscored mij de suggestie dat zij heel nauwkeurig de kwaliteit van de match kan bepalen. Maar als vervolgens blijkt dat die Upscore heel ver van mijn verwachting ligt, is er sprake van verwarring aan mijn kant, gevolgd door de conclusie dat er niets van klopt. Waardoor ik de Upscore als buitengewoon suspect ga beschouwen.

Ik probeer daarom maar met de mogelijkheid om een duimpje omhoog en duimpje omlaag aan te geven welke van de vacatures ik wel interessant vind, uiteindelijk zou Upscore hiervan moeten leren en mij beter passende vacatures tonen.  Helaas… Alle inspanningen maken niets uit, de enige vacatures die ik nu nog te zien krijg zijn de vacatures die ik een duimpje omhoog heb gegeven. Ook veranderingen in mijn skill set leveren geen andere resultaten op. Ik zit vast in een keurslijf waar ik niets aan lijk te kunnen veranderen.

Verder is het ook niet mogelijk om mijn werkervaringen te zien en waar nodig eventueel aan te passen, Upscored biedt mij hiervoor geen mogelijkheid. En helaas is Upscored ook een Hotel California applicatie. Ik kan me wel registeren maar ik kan mijn account niet verwijderen. Ik mag niet vertrekken van Upscored. Jammer…

Ik ben er wel klaar mee, Upscored is een teleurstelling.

Slotopmerkingen
Ik heb geen idee waar data science, natural language processing of machine learning binnen Upscored wordt gebruikt. Eerlijk gezegd interesseert het me ook helemaal niets. Want uiteindelijk interesseer ik me alleen voor de vacatures die mij getoond worden en de mate waarin deze aan mijn verwachting voldoen. En daar schiet Upscored volstrekt tekort. Helaas valt Upscored daarmee in het al behoorlijk lange rijtje van (overbodige) match-engines die het mij moeilijk maken om in matching te blijven geloven:

Who’s next?

Laat een antwoord achter aan Gerard Pruim Reactie annuleren

13 Comments
    • Marc Drees
      says:

      Ik weet het, ik heb het ook gezien. Maar als je niet weet tegen welke vacature een persoon moet worden vergeleken dan kan je nooit zeggen dat je de beste kandidaat hebt gevonden. Het is dus een claim die een social cross-referencing tool nooit en te nimmer kan maken. Maar laten we eerlijk zijn, ze zijn niet de enige die beloftes doet die niet nagekomen kunnen worden.

      • Gerard Pruim
        says:

        Het zou mooi zijn als er een freemium oplossing zou komen (zoals je mede-blogger Dirk aangeeft), gebaseerd op de werking van Textkernel die de werkzoekenden meer eigenaarschap geeft. Daar kun je dan weer allerlei andere diensten op bouwen die ook interessant voor bedrijven kunnen zijn. Bijvoorbeeld gerelateerd aan een leven lang leren, of werkplekleren.Uit de andere blogs lees ik dat het voor een groot deel ook een communicatieprobleem is verzoorzaakt door techneuten. Anders trek je geen bezoekers. Wel interessant om te lezen hoe een hype tegen je kan werken. Is een oplossing gebaseerd op conversatie (chatbot) nog een topic om aandacht aan te besteden? Zoals Cyra bijvoorbeeld (in beta). Of valt dat ook onder dezelfde noemer?

          • Gerard Pruim
            says:

            Stel dat je de rollen om kan draaien. De werkzoekende kan “aangeven welke footprints hen op het juiste spoor zetten en welke niet”. De vorm van de footprints optimaliseert op die manier. Als dit model in basis gebruik gratis is, krijgt een werkzoekende meer eigenaarschap en kan deze zelf aangeven wanneer hij klaar is voor een nieuwe uitdaging. Je kunt er dan allerlei andere diensten op bouwen waar een onderneming niet alleen in het recruitment proces profijt van heeft, maar ook bij bijvoorbeeld het ontwikkelen van de medewerkers. Een leven lang leren mogelijk maken zou je hier ook bij kunnen betrekken. Een digitale footprint is niet voor idereen de maatstaf: vaak zijn er vaardigheden die niet met een diploma onderschreven worden. Collega’s kunnen dat bijvoorbeeld wel als ze zelf ook een bepaalde reputatie hebben. Onderschrijvingen vanuit je netwerk zouden meer vertrouwd worden als daar een infrastructuur voor is (niet zoals op LinkedIn). daarmee krijg je een meer holistisch beeld wat iemand kan. Je bent meer dan je CV.PS: Ik krijg geen melding als er een reactie is op deze posts. In de spam zit het ook niet. Klopt het dat er geen melding volgt? Waarom moet ik dan een mailadres opgeven?

            • Marc Drees
              says:

              Oké, ik denk dat ik het begrijp. Waar een Airbnb of Tripadvisor review slechts met de nodige reserve is te vertrouwen (massa = meer) daar zal een vaardigheidsreview het niet makkelijker krijgen. Denk je dan aan zoiets als TruQu?Ten aan zien de PS: volgens mij is er dan iets stuk aan de site, ik laat het even nakijken. Bedankt voor het attenderen! 

              • Gerard Pruim
                says:

                Dankzij je review over Truqu (https://recruitmentmatters.nl/2012/10/29/truqu-een-serieuze-poging-zonder-meerwaarde/) kan ik je zeggen dat dat het niet is! Maar misschien zijn ze dankzij je opbouwende kritiek uit de beta fase en kun je je onderschrijvingen krijgen op een manier die zo simpel zou moeten zijn een klik een pagina. Daarbij werkt 360social.me inderdaad een stuk beter! Of de manier waarop je op Elance, de voorganger van Upwork een review kon plaatsen.De vraag What’s in it for me zou kunnen zijn dat je aanbevelingen/suggesties krijgt: bezoek een seminar, neem een cursus, MOOC of een boek. Net als bij Degreed.com kun je ook zelf bronnen toevoegen, maar dan mede op basis van de onderschrijvingen die je hebt ontvangen. Het facilteren van het beschrijven en bewijzen van je eigenwaarde. Bij het concept ‘reviews vragen’ (eigenlijk is het een informele manier van erkennen; diploma’s & certificaten zijn de formele varianten) is de essentie volgens mij of die reviews wel betrouwbaar zijn. Als je dat lukt om die betrouwbaar te maken door het ontwikkelen van een open ’trusted’ infrastructuur die iedereen kan gebruiken, zijn ze uitwisselbaar. En hoef je ook niet elke keer weer een nieuwe gesloten silo te lanceren. Daarmee creeer je eigenaarschap bij een individu (ook handig met de nieuwe AVG regelgeving die in 2018 van kracht gaat worden). En dragen we hopelijk zo bij aan een leven lang leren, waarbij het aantrekken, motiveren en ontwikkelen van mensen uiteraard een belangrijk aspect is voor de werk- of opdrachtgever.

  • Gerard Pruim
    says:

    Beste Marc,
     
    Interessante blog. Het lijstje met (bijna) overleden match-engines geeft te denken. Ik begrijp dat het lastig is om match-engine tre bouwen. Hoe gaat 360social.me wel de beste kandidaat voor een baan vinden? De tool lijkt me handig om alles van iemand online in één footprint te kunnen zien, maar hoe helpt het bij het vinden van de beste kandidaat (wat als claim op de site staat)? Of ben je daar niet meer bij betrokken?
     
    Vriendelijke groet,
    Gerard Pruim

    • Marc Drees
      says:

      360social is geen match-engine maar een social cross-reference tool. Dus ik kan de belofte dat deze tool de beste kandidaat kan vinden niet plaastsen. Ik ben overigens al geruime tijd niet meer betrokken bij dit initiatief.