Vertical search: Klik, mis!

Alle vacatures op één plek, in één index. Geweldig! Verticale zoekmachines helpen ons bij het structureren van de vraagkant op de arbeidsmarkt. Een nadeel van verticals is het aantal links dat naar een pagina verwijst die niet langer de verwachte openstaande vacature toont.

Het is teleurstellend als we ontdekken dat we misgeklikt hebben. Nog frustrerender is het als dat keer op keer gebeurt. We klikken met zijn allen 50.000 keer per dag mis. Dit kost ons steeds 10 seconden. Jaarlijks 15 manjaren, ofwel 500.000 euro.

Vers
Waar komen die dode links vandaan? Wel, een vertical indexeert. Dit kost tijd. In die tijd verlopen vacatures op het web. Totdat de index is geüpdated blijft de verwijzing staan.

Gemiddeld staan vacatures 57 dagen open. Dat betekent dat op een willekeurige dag 1/57e deel van de index weggegooid moet worden en dat eenzelfde hoeveelheid nieuwe vacaturelinks toegevoegd wordt. Als geen verversing plaatsvindt dan bevat een index na 24 uur 1,8% dode links, na een week 12% en na een maand 41%.

We gaan ervan uit dat dagelijks ververst wordt. Elke morgen om zeven uur in de ochtend verwachten we een kakelverse index. Van de 200.000 verwijzingen in deze index zullen er 3.500 verlopen, ofwel 1,8%. Dat is niet veel.

Praktijk
Toch komen we in de praktijk meer dode links tegen dan die 1,8%. Dit wordt veroorzaakt doordat we vooral zoeken in nieuwe vacatures. We geven vacaturesites opdracht alleen vacatures te tonen die recent geplaatst zijn. De sites helpen nog extra mee door aflopend te sorteren op datum.

We turven het aantal dode links en zetten het af tegen de maximale ouderdom van de vacatures. Op de y-as dus ‘Zoek alleen in vacatures uit de afgelopen … dagen’ en op de x-as het percentage dode links.

Schermafbeelding 2016-03-17 om 11.00.50
Zoeken we in vacatures die vandaag geplaatst zijn, dan klikken we in 8,8% van de gevallen mis! Verbreden we de zoekopdracht naar afgelopen week, dan vinden we 4,4% dode links. In vacaturelinks uit de afgelopen maand 2,2%.

Dit komt doordat er relatief veel kort openstaande vacatures op het web staan.

Slim
Maar, zullen de slimmeriken onder ons zeggen, vacatures verlopen toch niet allemaal op hetzelfde moment? Klopt. In de ochtend bevat de index minder dode links dan in de avond. Daar kunnen we gebruik van maken.

Als we de verlopen vacatures afzetten tegen het tijdstip waarop mensen zoeken dan krijgen we onderstaand beeld:

 

We zien dat slechts 3% van de aangeklikte links verlopen is.Schermafbeelding 2016-03-17 om 11.01.02

Hebben de vroege vogels het dan beter bekeken dan de langslapers? Niet helemaal. De dode links die de langslaper in de avond aantreft wijzen allemaal(!) naar vacatures die maximaal één dag openstaan. Niet het type vacature waar je op wilt solliciteren.

Nog slimmer
3% dode links is dus een gegeven. Als we bovendien in aanmerking nemen dat in 2% van de gevallen de vacature of de vacaturesite niet beschikbaar is door storing of onderhoud dan ontkomen we niet aan 5% missers.

Maar kunnen we daar echt niets aan doen? Misschien toch wel.

Een goede vertical zet de volgende zaken in om het aantal dode links verder omlaag te brengen:

  • Effectieve ontdubbeling
  • Frequente indexatie
  • Sortering zoekresultaten
  • Aanbieden ‘eigen’ vacatures / combinatie met jobboard
  • Live monitoring bronnen/vacature sites, zodat niet gelinkt wordt naar een site die down is

Als grotere spelers zich er serieus mee bezig gaan houden dan is er nog veel te winnen in het terugdringen van dode links.

Tot slot
Iedere vertical presenteert dode links. We moeten daarmee leren leven. Bij het ontwerp van een vertical moet rekening gehouden worden met de gebruiker, deze moet voorbereid worden op foutmeldingen.

Bevat de vertical van onze keuze minder dan 5% dode links dan zijn we goed bezig. Bevat hij er meer, dan kunnen we overwegen over te stappen naar een betere.

Geef een reactie

6 Comments
  • Dirk Goossens
    says:

    @Vincent:
    Een threshold inderdaad, daar gaat het om.
    Vragen die je daarbij kunt stellen:

    hoe communiceer je naar je gebruikers dat andere verticals wél de nieuwere vacatures tonen;
    is de ervaring van recruiters dat de eerste reactie op een vacature vaak de beste is, ofwel is er een noodzaak snel te reageren.

  • Vincent van Scherpenseel
    says:

    @Dirk: dat begrijp ik (aangezien de kans op dode links bij recentere vacatures groter is dan bij oudere vacatures). Maar waarom zou je dan niet een treshold opnemen? Dus een nieuwe vacature flaggen in de database als ‘nieuw’ en na 8 uur (of langer) opnieuw checken. Als deze dan alsnog beschikbaar is neem je hem pas op in de database.
     
    Ben het met je eens: geen ideale oplossing. Maar er zijn wel mogelijkheden om dit soort problemen te verkleinen. In een ideale wereld zouden de sites natuurlijk zelf een API beschikbaar hebben 🙂

  • Dirk Goossens
    says:

    @Vincent:
    Kern van het betoog is dat vaker spideren op recente vacatures juist méér dode links oplevert.
     
    De mogelijkheid van dynamische resultaatpagina’s biedt mogelijkheden. Voorzover sites helder in de vacature aangeven dat deze verlopen is kan deze uit de lijst geschrapt worden.
    Nadelen van deze methode zijn:

    false positives (404 voor ons betekent niet per se 404 voor gebruiker)
    false negatives (vacature staat nog op het web, maar is niet meer via het zoekformulier te benaderen)
    explosie netwerkverkeer
    paginering klopt niet meer

    In de praktijk kent deze methode meer nadelen dan voordelen.
    We zijn dan ook nog steeds op zoek naar de site die een linkchecker combineert met een grote hoeveelheid verkeer.
    Tot die tijd kunnen we ons beter richten op heldere communicatie richting gebruikers.

  • Vincent van Scherpenseel
    says:

    Uiteraard heb je gelijk dat je als vertical search engine vrijwel altijd achter de feiten aanloopt, maar in de praktijk zijn er wel degelijk technische mogelijkheden om de nadelige gevolgen hiervan zo klein mogelijk te houden.
    Vaker spideren dan 1 maal per dag op recente vacatures bijvoorbeeld. Of dynamische resultaat pagina’s: een bezoeker krijgt een tiental vacatures te zien en terwijl hij/zij deze resultset bekijkt wordt deze live gecontroleerd (non-obtrusive uiteraard) en wordt de liveset continu bijgewerkt.
    Inderdaad, geen oplossing van het probleem, wel van de symptomen. En dat kan soms best fijn zijn 🙂