Hoe betrouwbaar zijn onderzoeksresultaten?

Vind mYStudentenwerk heeft een bijzonder lezenswaardig boekje uitgegeven: Vind mY. Waarin het uitzendbureau voor studenten onder meer een gedetailleerd inzicht geeft in het online zoekgedrag van online starters. Het boekje is in mijn optiek een must-read voor iedere recruiter die probeert starters te benaderen. Barstensvol praktische informatie.

Tegelijkertijd wil ik een onderzoeksvraag uit dit boekje bij de kop pakken om de betrouwbaarheid van de onderzoeksresultaten ter discussie te stellen. Het gaat hierbij om de vraag die StudentenWerk door TNO-NIPO heeft laten stellen aan 1.255 HBO- en WO-studenten in hun laatste studiejaar:

We vroegen respondenten welk medium ze als eerste aanspreken wanneer ze na hun studie op zoek gaan naar een fulltime baan.

Dit is een vraag die Studentenwerk ook vorig jaar heeft gesteld. En met name in de verschillen tussen 2011 en 2012 zit mijn vraag over de betrouwbaarheid van het onderzoek.

Want dit zijn de resultaten van 2011 en 2012 naast elkaar gezet:

Eerste kanaal om een baan te zoeken volgens HBO- en WO-studenten. Bron: StudentenWerk

Eerste kanaal om een baan te zoeken volgens HBO- en WO-studenten. Bron: StudentenWerk

Hoe is een groei van maar liefst 26% (van 29% naar 39%) in één jaar tijd in het gebruik van Google als eerste kanaal om banen te zoeken te verklaren? Zijn HBO- en WO-afgestudeerden plotseling 26% slimmer geworden in het benutten van online kanalen bij hun zoektocht naar een baan? Een dergelijke aardverschuiving in het gebruik van beschikbare kanalen is zelden het gevolg van een verandering in het gedrag van de populatie. Eerder is hier sprake van een of andere verandering in onderzoeksmethodiek, populatie of vraagstelling.

Het probleem is echter dat hiermee een suggestie wordt gegeven dat Google enorm in belang is toegenomen. Met als risico dat de oppervlakkige maar goedwillende lezer zijn/haar kwartjes volledig op SEO zet. Zonder een 26% groei in repsonse van Gen Y kandidaten ten opzichte van 2011 te realiseren overigens…

Als bedrijven onderzoek laten uitvoeren en geconfronteerd worden met een aardverschuiving zoals bovenstaande zou het goed zijn als ze zich eerst zelf hard achter de oren krabben en proberen uit te zoeken wat de oorzaak is voordat in boekvorm wordt gepubliceerd. Om vervolgens bij publicatie een gedegen uitleg te geven bij die reden(en) van die verschuiving. Nu wordt er slechts door StudentenWerk geconstateerd dat er sprake is van een opvallende stijging. Een understatement van de eerste orde. Want 26% groei in één jaar tijd is natuurlijk niet opvallend. Dat is veel eerder  verbijsterend te noemen. En zeer onwaarschijnlijk.

Een en ander laat onverlet dat Vind mY een schat aan informatie bevat. Die echter met een gezond en kritisch verstand dient te worden beoordeeld.

Laat een antwoord achter aan Karlijn Fiesler Reactie annuleren

2 Comments
  • Karlijn Fiesler
    says:

    Hallo Marc,
     
    Hartelijk dank voor je lovende woorden over onze E-recruitment gids Vind mY en natuurlijk ook voor je oplettendheid wat betreft het onderzoek! Het is inderdaad een opmerkelijke stijging. In het persbericht , dat de publicatie van Vind mY vergezelde, geven wij hiervoor een mogelijke verklaring, gebaseerd op de statistieken van onze eigen website. Voor wie dit bericht gemist had, hierbij de URL: https://www.studentenwerk.nl/weblog/389-google-verslaat-vacaturebanken-bij-banenjacht-jongeren
     
    Wij zijn in Vind mY niet dieper ingegaan op deze stijging, vanwege de praktische insteek van de gids: wij willen HR-professionals helpen om te gaan met een situatie, niet het waarom van deze situatie uitleggen. Aangezien wij je niet graag met onbeantwoorde vragen laten zitten, hebben we op ons blog getracht een aanvullende verklaring  te geven. Zie https://www.studentenwerk.nl/weblog/395-waarom-google-zo-populair-is-bij-banenjacht-jongeren
     
     

  • Bas van de Haterd
    says:

    Eens Marc. Ik durf zelfs nog een stap verder te gaan en te stellen dat dit soort onderzoeken per definitie geheel onbetrouwbaar zijn. Je vraagt immers mensen naar hun gedrag en daarvan is bekend dat dit nooit een betrouwbaar beeld geeft wanneer het meetbaar getoetst wordt. Hoe ver zaten de verkiezingen er niet naast? Dan wordt iedere keer gezegd: ja, maar dat is stemgedrag… je kan ook de hele onderzoeksmethodiek gewoon in twijfel trekken (wat blijkt elke keer dat je dit soort onderzoeken naast meetbare resultaten legt). Hoe komt men bij een jobboard of wervingssite, vaak via Google, maar dat heeft men niet eens altijd door.