Het NOA heeft recent een rapport uitgebracht met bijzondere bevindingen. Zo bijzonder dat na lezing mijn wenkbrauwen tegen mijn haargrens aan zaten. Degenen die weten waar mijn haargrens zit, begrijpen dat dit vrijwel onmogelijk is.
En mijn wenkbrauwen schoten het verst omhoog bij de belangrijkste conclusie van het NOA rapport: Oriëntatie op de arbeidsmarkt gebeurt voor 71% via printmedia en voor 65% via Internet. Jawel, en dat voor een land met een van de hoogste breedbandpenetraties ter wereld…
Ook al lijkt het een krankzinnige conclusie; zoiets weerleggen kost altijd veel meer tijd dan iets idioots te roepen. Maar in dit geval is het brood- en broodnodig.
De cijfers
NOA geeft gelukkig alle ammunitie om haar eigen conclusies te vermorzelen; de achterliggende cijfers. Op pagina 7 van haar rapport geeft NOA een overzicht van de percentages aan respondenten per leeftijdscategorie. Die percentages heb ik in onderstaande tabel afgezet tegen de CBS cijfers over de werkzame beroepsbevolking in het 2e kwartaal van 2008:
Oplettende lezertjes zullen zien dat de leeftijdscategorieën van CBS en NOA niet geheel overeen komen. Zo zijn de jongste en oudste groepen bij het NOA kleiner dan bij het CBS. Als we de CBS categorieën lineair in overeenstemming brengen met die van het NOA krijgen we het volgende resultaat:
En wat zien we? De NOA steekproef is volstrekt niet representatief voor de samenstelling van de Nederlandse beroepsbevolking!
Terwijl de jongste groep werkende personen zwaar is ondervertegenwoordigd zijn juist de oudere groepen extreem oververtegenwoordigd.
Impact op de resultaten
En die onbalans heeft een enorme impact op de uitkomsten van het onderzoek. Zoals onderzoek van Forrester naar het media gebruik van Nederlanders overduidelijk aantoont:
De zware oververtegenwoordiging van de oudste leeftijdscategorie laat resultaten uit de NOA steekproef dus automatisch kantelen ten faveure van printmedia.
Geloofwaardigheid van NOA?
NOA maakt zich in mijn optiek volstrekt belachelijk met de publicatie van haar laatste rapport. En lijkt zich schuldig te maken aan het manipuleren van gegevens om zo gunstige uitkomsten te bewerkstelligen.
En dat terwijl het NOA rapport het volgende stelt:
Onafhankelijk en gedegen arbeidsmarktonderzoek als het NOA draagt bij aan het leggen van een goed fundament voor het recruitment- en retentiebeleid van organisaties
Twee woorden springen er voor mij uit: onafhankelijk en gedegen.
Onafhankelijk? Hoe komen ze erbij? Stichting NOA wordt gevormd door uitgevers!
Gedegen? Wat een onzin! Het rapport is een marketingboodschap van 48 pagina’s. NOA heeft hiermee haar geloofwaardigheid volledig te grabbel gegooid.
Conclusie
De arbeidsmarkt zou er goed aan doen om het NOA rapport volstrekt te negeren. Want het rapport heeft geen enkele waarde. Sterker nog, het is misleidend voor bedrijven die mede op basis van dit rapport hun arbeidsmarktcommunicatie-strategie en -budget zou vaststellen.
@Marc,
Dit klopt niet. Je geef een CBS percentage van 27,6% in de grafiek, terwijl in je staatje daarboven dit op 37,6 % staat.
Als het staatje fout is klopt je hele redenering. Als het staatje klopt is het wat wankel. Dit zijn de afwijkingen volgens staatje:
15-25 -5.5%
25-35 -0.2%
35-45 +4.2%
45+ +1.4%
@Cees:
Wat je mist is de proportionele wijziging die ik heb aangebracht in de CBS cijfers om het naar dezelfde leeftijdsgroep te vertalen:
Voor de oudste leeftijdscategorie van CBS werkt dat als volgt:
(37,6%/20)*15 = 27,6%
De 20 is de 20 jaar die de oudste leeftijdscategorie omvat (45 – 65 jaar). De 15 is de 15 jaar die de leeftijdscategorie van NOA omvat.
Op deze manier reduceer ik dus lineair de CBS van 20 jaar naar 15 jaar. Een proxy voor de werkelijkheid natuurlijk, maar een simpele en begrijpelijke manier om dit te doen.
De jongse leeftijdscategorie is op dezelfde manier behandeld.
Het is gebruikelijk om bij een over- of ondervertegenwoordiging van bepaalde segmenten binnen de response de resultaten te “wegen” zodat de uitkomsten wel representatief zijn voor de gehele doelgroep (en subgroepen). Het is dus even van belang om te controleren of de resultaten gewogen zijn.
Volgende week komt een belanghebbende dit rapport aan ons toelichten. Ik denk dat ik aan de hand van de eerdere post en dit artikel een aantal zeer kritische vragen kan opstellen. Bedankt hiervoor!
Uit het onderzoek:
Weging en universumschatting
Na afloop van het veldwerk zijn de data gewogen. Hierbij is gebruik gemaakt van referentiegegevens van het populatieonderzoek en de MOA
Gouden Standaard voor de reguliere doelgroep en van CBS-gegevens voor de studenten (en voor de recent afgestudeerden). Vervolgens is op
basis van genoemde referentiegegevens de populatieomvang van de subgroepen bepaald en zijn de groepen in de juiste onderlinge verhouding
gewogen, zodat één representatief bestand ontstond. Het universum is bepaald op 7.383.000 personen, van wie er 7.204.000 tot de doelgroep
regulier behoren en 179.000 tot de doelgroep studenten.
De populatie valt dit jaar hoger uit omdat de leeftijdsgrens van NOA 2008 is verhoogd van 55 naar 60 jaar.
@Ruben:
Prettige aanvulling… een zeer representatief bestand?
@Marc dat kan ik niet zeggen op basis van de gegevens.
Ipv de leeftijdsverdeling vertekenen de resultaten volgens mij vooral sterk doordat maar 9 % daadwerkelijk op zoek is naar een baan. De rest is dus niet actief bezig en moet per toeval ergens tegenaan lopen. Dan vind ik de internet resultaten nog erg hoog.
@Ruben:
Daar gaat het niet eens om. De steekproef is in het geheel niet representatief. En skewed ten faveure van print.
Dus elke uitkomst is per definitie al waardeloos geworden. Ze hadden net zo goed de vragenlijst onder de lezers van de Telegraag kunnen laten circuleren. Zinloos
Er zijn ongetwijfeld zaken aan te merken op de methodiek van het onderzoek en de betrouwbaarheid en generaliseerbaarheid van de resultaten, maar dit is er niet een van, Marc. Ruben heeft gelijk.
Bakkers en stratenmakers zoeken hun volgende baan niet op het internet. Die kijken in de lokale krant. Er zijn veel bakkers en stratenmakers. Dit laat juist zien dát ze de resultaten gewogen hebben. Verder wordt gemeld dat slechts 30% een landelijk dagblad gebruikt als oriëntatiebron. Dit lijkt me niet “skewed ten faveure van print”.
Gebruik moeilijke woorden alsjeblieft alleen als je weet wat ze betekenen. Dat lijkt heel veel op een troll-opmerking, excuses daarvoor, maar wat mij betreft valt dit artikel in dezelfde categorie.
@Dennis:
Als je zonder argument een inhoudelijk post over een fundamentele blunder van NOA als een troll kenmerkt dan lijkt me dat heel veel te zeggen over de commentator.
“Bakkers en stratenmakers zoeken hun volgende baan niet op het internet.”
Dat betwijfel ik ten zeerste. Zeker de ‘jongere’ generatie (ik rekend dan <35 jr
) zal dat zeker doen. Alhoewel ze in hun werk weinig met computers werken, zal het meerdendeel toch wel regelmatig op een hyves, marktplaats, youtube, gamesites terecht komen. Zeker als je de denking ziet van computers per huishouden in NL
@Cees
Zonder meer waar. Het was een generaliserend voorbeeld om aan te geven waarom het hoge percentage (71%) dat print gebruikt als oriëntatie bron niet het gevolg hoeft te zijn van een onjuiste representatie van de leeftijdsgroepen.
Dat men het lokale sufferdje gebruikt wil inderdaad niet zeggen dat men niet ook op internet kijkt. Bakkers zijn geenszins digibeet, en stratenmakers zijn vaker hackers dan je denkt. Het is wel zo dat er op Monsterboard op dit moment precies één bakker vacature, en één stratenmaker vacature staat. Vandaar het voorbeeld. I rest my case.
@Dennis: het feit dat monsterboard niet de juiste plek is, is iets anders dan dat online niet de juiste plek is.
Vandaag iemand van google op GRC gehad. In Engeland (ja, ik weet, niet Nederland) zijn er per maand dus 1,5 miljoen zoekopdrachten naar een baan in de sociale gezondheidszorg in Birmingham. Ik bedoel… neem een niche, en het word gezocht in google.
@Bas
Toch heeft Dennis wel een punt.
Zelfs via de beste vertikale zoekmachine die ik ken
vind ik maar een beperkt aantal vacature voor zowel bakker als stratenmaker.
Dat heeft wel invloed op zoekgedrag.
@Cees: ik zeg niet dat je voor bepaalde beroepen niet mogelijk naar print moet. Er zijn daar zeker mogelijkheden. Het is denk ik een beetje een kwestie van én – én. Hoewel ik de markt niet goed genoeg ken om morgen te zeggen waar je moet adverteren om je bakker of stratenmaker binnen te halen (ik denk dan nog eerder aan outdoor persoonlijk).
kijk via via toch een reactie van NOA
http://www.recruiteronline.nl/index.html?nid=1&cid=2&id=24114
Dit is wat NOA blijkbaar in Adformatie had te melden:
Irena Petric, verbonden aan NOA, stelt dat CBS en NOA een andere definitie hanteren van de werkzame beroepsbevolking. Het CBS rekent ook scholieren met een bijbaantje mee, net als zzp`ers. Voor professionals in de arbeidsmarktcommunicatie zijn deze groepen niet interessant. Tevens zijn bij NOA zowel printuitgevers als Vea-recruitmentbureaus betrokken en het onderzoek is uitgevoerd door het gecertificeerde Synovate.
Ik heb Adformatie niet gezien. Maar als dit de ‘verdediging’ van NOA is dan wordt het pas echt lachwekkend.
Want NOA gaat inhoudelijk feitelijk niet in op de verschillen aan de onder- en bovenkant van het leeftijdsgebouw. In plaats daarvan wordt geschermd met de certificering van het onderzoeksbureau… Ja, dat is inderdaad een ijzersterk argument!
Het lijkt wel of NOA bewust adverteerders wil blijven beledigen.
En leuk om te lezen dat arbeidscommunicatie professionals scholieren met een bijbaantje oninteressant vinden. OMG! Ik vraag me af of die professionals net zo geschrokken zijn van die uitspraak als ik. Dit is wel ongekend dom…
Overigens jammer dat Adformatie blijkbaar wel NOA maar niet RecruitmentMatters heeft gevraagd om een reactie…
1) een cerficicaat van een onderzoekspartij zegt inderdaad niets. Sterker nog, bijna elk onderzoek wijst vooraf uit wat het moet uitwijzen. Helaas trapt 90% van Nederland daar wel in, als het een gerenommeerde naam is. Het feit dat de onderzoeksbureaus per definitie geaccepteerd worden als onafhankelijk is een denkfout in de gedachten van veel mensen, helaas, maar waar.
2) Ze stellen dat ze populaties van het CBS aanpassen omdat het ‘geen interessante arbeidsmarktpopulatie’ zou zijn. Tja, ik ken nog een partij die dat doet (IG), waar ik het ook nooit mee eens ben. Want dan ga je uit van de oude manier van denken dat een ZZP’er dat is en blijft en niet terug zou kunnen in loondienst (onzin natuurlijk) en dat studenten niet waardevolle part-time krachten kunnen zijn, ook in de gewone bedrijfsvoering (iets dat o.a. de recruiter van het jaar Mariëlle Sijgers dus heeft laten zien dat onzin is).
Maar het gaat niet om het beledigen van adverteerders Marc. Immers, elke adverteerder die na zou denken zou al lang van alles hebben geëxpirimenteerd en eigen informatie hebben opgebouwd over wat werkt en wat niet. Als men de laatste 5 jaar hun werk goed gedaan zouden hebben zijn onderzoeken als het NOA en IG overbodig. Dus die kan je niet beledigen. Het gaat om het tevredenhouden van alle stakehouders.
Uitgevers hebben dit inderdaad geïnitieerd, maar het wordt door iemand anders uitgevoerd…..
@Daan:
Dus?…
lijkt me duidelijk……onafhankelijk net als NOM e.a. onderzoeken.
Als je daar aan gaat twijfelen of tornen ga je niet echt relaxed door het leven denk ik. Je ziet ik ben van de korte posts en ga geen ellenlang verhaal opdreunen, heeft geen zin. Het is een gerespecteerd onderzoek waar veel mediabureau’s mee werken en die zien het volgens jou allemaal verkeerd…….
@Daan:
Dus(2)?…
Als je kan lezen geef ik duidelijke argumenten waarom er sprake is van een bias in de gegevens die NOA presenteert. Een bias die zeer toevallig (?) ten gunste van haar stakeholders uitvalt.
Mediabureau’s vertrouwen (misschien naief), op de objectiviteit van NOA die ik, op basis van argumenten, in twijfel trek.
Verkeerd zien verondersteld een actieve keuze; ik ga er niet vanuit dat mediabureau’s er bewust voor kiezen een evident gemankeerd onderzoek te volgen. Dus nee, volgens mij zien de mediabureau’s het niet verkeerd omdat ze simpelweg niet grondig naar de NOA cijfers hebben gekeken.
Als jij er overigens voor kiest onderzoeksresultaten klakkeloos over te nemen dan zal je nog voor veel verrassingen komen te staan. Onderzoeksresultaten zijn leuk, kritisch vermogen is echter onontbeerlijk om die resultaten op juiste waarde te schatten.
Of je daarmee al dan niet relaxed door het leven gaat is volgens mij een brug te ver.
Jij ontleed elke zin tot op het bot, vermoeiend lijkt me dat…
Sterker nog, ik denk als NOA de jongere mensen (ook met een bijbaan) meegenomen had in het onderzoek het nog beter zou uitpakken voor (bijvoorbeeld gratis) printmedia. Daarnaast hebben de meeste uitgeverijen voor de werkzoekenden ook de optie om op hun site (of aparte sites van uitgeverijen) naar een baan te zoeken. Ze zouden zichzelf dan in de vingers snijden door het medium internet er slechter uit te laten komen (terwijl dat voor de toekomst heel belangrijk wordt).
@Daan:
Denken is interessant maar meten is beter. Maar misschien te vermoeiend? Als je geen cijfers kan of wil begrijpen ga je toch gewoon lekker op het middenrif gevoel af. Bewust onbekwaam is ook een keuze.
Maar suggereer dan niet dat het onderzoek van NOA betrouwbaar is. Want dat is aantoonbaar niet het geval.
En ten aanzien van de jongere generatie en print: dream on!
Zo zo……je blijft maat toespitsen op dat puntje waar het onderzoek onbetrouwbaar zou zijn, terwijl er ook ontzettend veel wel klopt in het onderzoek en daar hoef je geen raketgeleerde voor te zijn als je het mij vraagt. Dat ik dus bewust onbekwaam zou zijn is een aanname van jouw kant en aannames zijn dodelijk, zo zeg je eigenlijk ook al zelf. Mijn middenrif gevoel zegt mij in ieder geval wel dat je er erg op gebrand bent om een gelijk te halen, dat gaat je niet lukken, want alles is – als je het goed onderbouwt – weer te weerleggen.
@Daan:
Ik zou zeggen, ga je gang. Weerleg het met cijfers in plaats van het alleen maar te suggereren.
Nou ja ik ben niet de enige die het niet helemaal met je eens is. Ik geef je ook geen brevet van onvermogen, maar ben het op een aantal punten gewoon niet met je eens, net als vele anderen. Tip: begin een outdoor onderzoek, dat is er nog niet………….
@Daan:
Oneens zijn: Prima. Zonder enig objectief verifieerbaar argument andere uitkomsten suggereren: armoe.
Wat een zwaktebod…
het zal wel……..diegene die het onderbouwen met cijfers krijgen pertinent geen gelijk. Er is voor jou maar 1 antwoord mogelijk en dus het juiste antwoord/conclusie. Dat vind ik een zwaktebod…..
Ik ga een broodje bal eten……
…Mosterd na de maaltijd, maar altijd bereid tot een toelichting.
@Bas
1. Het AGO meet wel degelijk studenten die een bijbaan willen. Zeker als dit 12 uur of meer per week is. Daarmee behoort deze groep tot de Nederlandse beroepsbevolking.
2. Per 1/1/2010 gaat het AGO ook het arbeidsmarktgedrag van ZZP’ers meten. Om de simpele reden dat deze groep groter en steeds belangrijker wordt. En voor het eerst ook interessant voor werkgevers in de vast/flex benadering van de arbeidsmarkt.
3. Arbeidsmarktorientatie verandert zo snel. Verzamelde info van orientatiegedrag van 2 of meer jaar geleden heeft nauwelijks nog voorspellende waarde voor vandaag de dag. Maar waar is waar…. meten is weten. Dat geldt primair voor eigen waarnemingen. Waar deze onvolledig of onvoldoende is, is onderzoek zeer waardevol.
Het lijkt mij zinnig wanneer de meningen die ten faveure van het NOA onderzoek spreken, zwijgen. Iedereen weet dat men dit soort onderzoeken uit de hoed tovert om een nieuwswaardig bericht te genereren. En wanneer dit zo opzichtig gebeurt is het niet vreemd dat er oplettende mensen zijn die aan de kaak stellen dat een organisatie ten faveure van haar eigen commerciele belang rapporteert. Nou is niets onafhankelijk. Rapporten onderscheiden zich louter door de doorzichtigheid van de commerciele doortraptheid. In die zin is het onderzoek van de NOA in mijn beleving een kwestie van leuk geprobeerd, maar hopeloos gefaald