In dit artikel wordt beschreven waardoor vacatures soms op vacaturebanken verschijnen, zonder dat deze daar naartoe zijn gepubliceerd, en de rol van spiders hierin.

Spiders

Uit Wikipedia:

Een spider (ook wel webcrawler genoemd) is een bot die het wereldwijde web op een methodische en geautomatiseerde manier doorbladert. Spiders maken veelal een lokale kopie van de gevonden pagina's om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines.

Vacaturebanken

Bepaalde vacaturebanken maken gebruik van spiders. Jooble is een voorbeeld van een vacaturebank die deze techniek toepast. Er wordt niet via een multiposter (zoals Knollenstein of Mimir) gepubliceerd naar deze vacaturebank, en toch verschijnen vacatures op deze website.

Dit wordt veroorzaakt doordat deze vacaturebanken middels spiders de vacatures van andere plekken vandaan plukken, zoals de vacaturesite of andere vacaturebanken. Als een vacature ergens online staat, kan deze door spiders worden geïndexeerd.

Noindex

Om de kans te verkleinen dat vacatures ongewenst op een vacaturebank komen te staan, kan een meta tag op de pagina's worden geplaatst: noindex. Deze tag vertelt bots dat de pagina waarop deze tag zich bevindt, niet geïndexeerd hoeft te worden. De meeste zoekmachines 'luisteren' naar deze meta tag, en zullen de pagina's als zij deze tag tegenkomen niet indexeren.

Op verzoek kunnen wij deze meta tag plaatsen op bepaalde pagina's. Op intranetpagina's wordt de tag standaard door ons geplaatst. Het nadeel van het plaatsen van de noindex tag op niet-intranet-pagina's is dat de betreffende pagina's ook door zoekmachines zoals Google niet meer worden geïndexeerd.