Naar aanleiding van een kritische posting over het klakkeloze papagaaien van aantallen verborgen vacatures onstond een nogal bizarre discussie waarbij oncontroleerbare aannames over aantallen (verborgen) vacatures gelijk werden gesteld met verifieerbare cijfers die vanuit CBS en JobFeed kunnen worden bemachtigd.
Aangezien aannames de dood in de pot zijn voor een inhoudelijk waardevolle discussie leek het mij buitengewoon waardevol om eens zeer diep in de kwaliteit en (mate van) overeenkomstigheid van CBS en JobFeed cijfers te duiken. Bij deze dus!
Een exercitie die verdomde saai gaat worden voor de gemiddelde medemens. Maar hopelijk veel meer duidelijkheid gaat verschaffen over de kwaliteit van beide bronnen (CBS en JobFeed) in verband met de stand in (online) vacatureland. Zodat in het vervolg aannames rondom het al dan niet verborgen en/of al dan niet online zijn van vacatures naar het land der fabelen kunnen worden verwezen. Of tenminste kunnen worden onderbouwd met getallen, in plaats van onderbuikgevoel. En dat is weer wel interessant voor de gemiddelde medemens.
Vanwege de omvang van de materie wordt dit een miniserie; waarbij ik vandaag begin met de wijze waarop CBS informatie verzameld voor haar kwartaalrapportage over vacatures.
Verzamelmethode
CBS verzameld ieder kwartaal gegevens over het aantal vacatures in Nederland via een enquete onder 25.000 bedrijven en instellingen. De enquete wordt via internet, telefonisch of schriftelijk afgenomen. Het responsepercentage is ongeveer 85%; oftewel ruim 21.000 bedrijven en instellingen leveren ieder kwartaal gegevens aan.
Verzamelde informatie
CBS vraagt bedrijven om de volgende informatie:
- Het aantal openstaande vacatures aan het eind van het huidige kwartaal: Vac(kw)
- Het aantal vacatures dat in het huidige kwartaal is ontstaan: Ontstaan(kw)
- Het aantal vacatures dat in het huidige kwartaal is vervuld: Vervuld(kw)
- Het aantal vacatures dat in het huidige kwartaal is vervallen: Vervallen(kw)
Op basis van deze informatie en de informatie over het aantal vacatures in het vorige kwartaal (Vac(kw-1)) checkt CBS de consistentie van de informatie op basis van de volgende formule:
Vac(kw) = Vac(kw-1) + Ontstaan(kw) – Vervuld(kw) – Vervallen(kw)
Gegevens die niet consistent zijn worden waar mogelijk aangepast.
Vacatures
Alle vacatures tellen mee. Dus zowel part-time als full-time banen, tijdelijke en vaste banen. Aan uitzendbureaus zelf worden alleen de vacatures voor het stafpersoneel gevraagd. Zelfs vacatures die binnen een kwartaal onstaan en weer komen te vervallen worden op basis van bovenstaande informatie meegenomen.
Weging
De steekproef is gestratificeerd naar 46 economische acticiteiten en 9 grootteklassen. In totaal zijn er dus 414 steekproefcellen (46 * 9).
Het aantal waargenomen bedrijven en instellingen wordt steekproefcel opgehoogd naar het totaal aantal bedrijven in de desbetreffende steekproefcel. Op deze manier komt CBS aan het totaal aantal vacatures.
Hier is een kleine kanttekening te maken; de gegevens van de grootste bedrijven (bedrijven in de twee hoogste grootteklassen) worden volledig verzameld. Hier is dus geen extrapolatie aan de orde.
Betrouwbaarheid
Over de betrouwbaarheid van de informatie stelt CBS het volgende:
Omdat het onderzoek berust op een steekproef dient rekening te worden gehouden met onnauwkeurigheden in de uitkomsten. Een maat hiervoor is de 95%-betrouwbaarheidsmarge.
De relatieve betrouwbaarheidsmarge voor het totaal aantal vacatures is ongeveer 4 procent. Dit betekent dat het werkelijke aantal vacatures waarschijnlijk niet meer dan 4 procent afwijkt van het aantal vacatures dat met de steekproef is geschat.
Conclusie
Op basis van deze methode biedt CBS dus een nauwkeurige schatting van het totaal aantal vacatures dat in een kwartaal is ontstaan. Ongeacht of deze vacatures nou verborgen of zichtbaar zijn danwel offline en/of online zijn gepubliceerd.
Voor het vervolg van deze miniserie is het CBS het referentiekader. Gezien de methode en de jarenlange ervaring is er althans in mijn optiek geen betrouwbaarder proxy voor het werkelijke aantal vacatures te vinden.
Bas van de Haterd
says:@Marc: ik begrijp dat je niet wilt lezen of luisteren, maar dat is nu precies mijn punt. Een steekproef is een nutteloze exercitie, aangezien die dus nooit een eenduidig beeld oplevert. En nogmaals: JOUW interpretatie is dat het 1 vacature is, andere mensen kunnen dat met net zoveel logica tellen als 2. Maar dat wil je toch niet inzien.
Marc Drees
says:@Bas:
Ik denk dat je het ook onnodig moeilijk kan maken. En jij doet in ieder geval je uiterste best hiervoor. Maar 1 vacature is niet als 2 te tellen, tenzij je teveel hebt gedronken.
Ik zou zeggen, doe eens een echte steekproef en niet het bekende gereutel over wat je van kennis ABC bij bedrijf XYZ hebt gehoord.
Bas van de Haterd
says:Even als aanvulling: de vraag is dus hoe het CBS dit ziet. Dit bericht laat mij doen denken dat ze een interne promotie dus wel als 2 vacatures zien.
Een verandering van beroep betekent niet altijd dat iemand ook van werkkring verandert, aldus het CBS. Sommige werknemers wisselen van beroep binnen de organisatie waar zij werken.
Als je promotie van beroep veranderen vindt als CBS… is het dan ook niet logisch dat je vind dat dat een vacature is die je vervuld? En dat er dan dus een tweede ontstaan. Kom je meteen op dat enorme aantal niet gepubliceerde van Jacco.
Hoewel de vraag dan wel weer is, hoeveel mensen vullen zo’n vragenlijst dan op die manier in. Ik denk dat we het nooit zullen weten.
Bas van de Haterd
says:@Marc: en dat is dus exact wat ik bedoel. JOUW interpretatie (als ik namelijk zeg dat het wel zo is, wie zegt wie er gelijk heeft?) Waar staat dat in de cijfers van het CBS? Nergens want de definities worden niet gegeven). Derhalve dubbel interpreteerbaar.
Hoeveel mensen delen JOUW interpretatie? Geen 100%. Ik heb geen idee, derhalve, dubbel interpreteerbaar. Als er geen eenduidige definitie is (en die is er niet) is iets dus niet eenduidig. Nog afgezien van het aantal mensen dat niet leest of moedwillig zaken verkeerd invult.
Overigens is die 95% natuurlijk een mythe. Allemaal prachtig wetenschappelijk onderzocht en op elkaars literatuur bewezen, maar nooit controleerbaar omdat een 100% steekproef niet mogelijk is. Heb je recent de onderzoeken gezien die allemaal over sociale netwerken gaan en 95% betrouwbaar zijn, maar 30% van de werkelijkheid afwijken als je de echte cijfers bekijkt? Ik wel.
Marc Drees
says:@Bas:
Wat is dubbel te interpreteren? Het gaat om de benodigde formatie van een bedrijf en de daarbinnen bestaande vacatures. Er ontstaan geen twee vacatures op een moment van een interne promotie; tenzij die promotie het gevolg is van het vertrek van een andere medewerker. De enige vraag is of de invuller zich hier in voldoende mate rekenschap van geeft.
Verder is die 95% betrouwbaarheid natuurlijk wel steekhoudend, zoals je als onderzoeker zou moeten weten. Als iemand echt maar wat invult is de toets die CBS hierop doet voldoende om deze resultaten niet eens in het onderzoek te betrekken. En voor het overige wordt juist die 95% marge gehanteerd. Tenslotte zijn er voldoende onderzoeken naar de betrouwbaarheid van enqueteresultaten om hier vanuit te mogen gaan.
Bas van de Haterd
says:@Marc: interessante uitleg en goed artikel. Het enige wat mist is de exacte vraagstelling. En dat is wel heel essentieel in deze. Ik heb ooit zo’n onderzoek onder ogen gehad en als onderzoeker vond ik de vragen wel heel erg dubbel interpretabel. Want wat is een vacature? Nergens staat bijvoorbeeld of een promotie dus geld als één intern vervulde vacature waar een tweede zich opent, of slechts 1 vacature (uiteindelijk vertrekt er maar 1 persoon).
En zelfs al leg je dat uit, hoe weet je hoeveel van die schriftelijke enquêtes dan correct worden ingevuld. Aangezien er een boete is voor niet terugsturen is de betrouwbaarheid van de wel teruggestuurde cijfers ook niet mega. Mijn oud directeur vond het altijd zo’n onzin, die vulde lekker wat in. Foutief terugsturen was geen probleem namelijk, niet terugsturen was boete. Daar gaat je 95% betrouwbaarheid (want daar houdt CBS geen rekening mee).
Jacco Valkenburg
says:Prima en informatief artikel. Ik ben benieuwd naar het vervolg mbt Jobfeed cijfers.
Tip: duik ook eens in de zoekresultaten van Jobfeed op microniveau. Indien gewenst kan ik een paar voorbeelden geven van zoekopdrachten.
Marc Drees
says:@Ruben:
Even geduld, komt eraan!
Ruben @ Freep
says:Publiceert CBS ook de cijfers van Ontstaan(kw) en Vervuld(kw)? Lijken me interessante cijfers.