Spiders

Print

In dit artikel wordt beschreven waardoor vacatures soms op vacaturebanken verschijnen, zonder dat deze daar naartoe zijn gepubliceerd, en de rol van spiders hierin.

Inhoud

1 Spider
2 Vacaturebanken
3 Noindex
 

Spider

Uit Wikipedia:

Een spider (ook wel webcrawler genoemd) is een bot die het wereldwijde web op een methodische en geautomatiseerde manier doorbladert. Spiders maken veelal een lokale kopie van de gevonden pagina's om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines.
 

Vacaturebanken

Bepaalde vacaturebanken maken ook gebruik van spiders. Dergelijke sites zijn eigenlijk een zoekmachine gericht op vacatures. Een voor ons bekende naam is Indeed. Er wordt niet via Knollenstein of Mimir gepubliceerd naar deze vacaturebank, en tóch verschijnen vacatures op www.indeed.nl.

Dit wordt veroorzaakt doordat deze vacaturebanken middels spiders de vacatures van andere plekken vandaan plukken, zoals de vacaturesite of andere vacaturebanken. Als een vacature ergens online staat, kan deze door een spiders worden geïndexeerd.
 

Noindex

Om de kans te verkleinen dat vacatures ongewenst op een vacaturebank komen te staan, kan een meta tag op de pagina's worden geplaatst: noindex. Deze tag vertelt bots dat de pagina waarop deze tag zich bevindt, niet geïndexeerd hoeft te worden. De meeste zoekmachines 'luisteren' naar deze meta tag, en zullen de pagina's als zij deze tag tegenkomen niet indexeren.

Op verzoek kunnen wij deze meta tag plaatsen op bepaalde pagina's. Op intranetpagina's wordt de tag standaard door ons geplaatst. Het nadeel van het plaatsen van de noindex tag op niet-intranet-pagina's is dat de betreffende pagina's ook door zoekmachines zoals Google niet meer worden geïndexeerd.
 

Naar boven

 

Hebt u meer vragen? Een aanvraag indienen

Opmerkingen