Een spider is één van die termen die je tegenkomt als je leest over SEO. Maar wat is een spider? Het is geen spin, of toch niet letterlijk. Maar ergens toch wel: een spider verkent het internet, het wereldwijde web. Een spider is een geautomatiseerd programma dat de pagina’s die te vinden zijn op het internet indexeert. Soms wordt ook crawler of webcrawler gezegd of een bot. Je zou kunnen zeggen dat een spider een ontdekkingsreiziger is die alle pagina’s van het web in kaart brengt. Een spider zoekt altijd naar nieuwe pagina’s of gewijzigde pagina’s op het internet. Op deze manier kan je als websitebezoeker snel internetpagina’s vinden in een zoekmachine. Zonder een spider of crawler zou dat niet mogelijk zijn.
Hoe maak je jouw website zichtbaar voor spiders? #
Links zijn belangrijk voor een spider. Daarom heeft je website een XML-sitemap nodig. Een XML-sitemap is leesbaar voor de crawler of spider zodat ze zichtbaar worden in een zoekmachine, zoals Google of Bing. Tenzij je een pagina niet zichtbaar wilt houden voor zoekmachines. Via robots.txt kan je vertellen aan de spider welke pagina’s zeker niet geïndexeerd mogen worden. Of welke links niet mogen gevolgd worden. Dit kan je doen door een robots.txt tekstbestand aan te maken waarmee je met een bepaalde code een instructie geeft over jouw website.
Hoe werkt een spider? #
Een lange lijst van URL’s is het startpunt van de spider. Zij worden elk apart bezocht en als de spider een interne link tegenkomt, dan worden deze URL’s toegevoegd aan de lijst van de website. Een spider komt regelmatig op bezoek bij jouw website opdat alle verzamelde geïndexeerde pagina’s actueel zouden blijven.
