Wat is Googlebot?
Googlebot is de naam van de crawlers/spiders die Google gebruikt om het web in kaart te brengen.
Het zijn softwareprogramma’s die naar een URL surfen, daar alle URL’s van interne en externe links verzamelen en daar vervolgens naartoe surfen om het proces te herhalen. Op deze manier krijgt Google een overzicht van het aantal pagina’s waaruit een domein bestaat.
Verschillende soorten Googlebots
De meeste Googlebots worden gebruikt om URL’s met een tekstuele inhoud te analyseren. Daarnaast zijn er sommige bots met een heel specifieke taak:
- Googlebot Smartphone: om de mobiele versie van een URL te crawlen
- Googlebot Desktop: om de desktop versie van een URL te crawlen
- Googlebot Image: voor het crawlen van afbeeldingen voor Google Images
- Googlebot Video: voor het crawlen van video’s
- Googlebot News: voor het crawlen van nieuwsberichten
Googlebot controleren
Er zijn enkele manieren om het gedrag van Googlebot te controleren.
Je kan bepalen welke URL’s al dan niet gecrawled worden via het robots.txt bestand. Voor individuele links is er het nofollow-attribuut. Opgelet: dit is slechts een hint. Google zal dit attribuut soms negeren.
Om het indexeren van URL’s te voorkomen, voeg je een noindex robots meta tag toe.