Wat is een robots.txt bestand?
Een robots.txt bestand is een tekstdocument in de root-directory van een website dat zoekmachinecrawlers vertelt welke pagina's of secties zij wel of niet mogen crawlen. Het is een cruciaal instrument voor het beheren van je crawl budget en het voorkomen van indexering van gevoelige of overbodige onderdelen van een site.
Het robots.txt bestand is in feite een set instructies voor webrobots (crawlers). Wanneer een zoekmachine zoals Google een site bezoekt, is dit bestand het eerste waar naar wordt gekeken. Het maakt gebruik van het 'Robots Exclusion Protocol' om commando's te geven zoals 'User-agent' (op wie de regel van toepassing is) en 'Disallow' (welke paden genegeerd moeten worden). Hoewel het uitstekend is om te voorkomen dat crawlers tijd verspillen aan pagina's met weinig waarde — zoals inlogschermen, interne zoekresultaten of admin-mappen — is het belangrijk om te weten dat robots.txt geen garantie is dat een pagina uit de index van Google blijft. Als een pagina geblokkeerd is via robots.txt maar er zijn externe links die naar de pagina verwijzen, kan Google de URL alsnog indexeren. Om een pagina echt uit de zoekresultaten te houden, is een 'noindex' tag vereist. Een verkeerd geconfigureerd robots.txt bestand is een veelgemaakte technische SEO-fout; per ongeluk je hele site blokkeren kan leiden tot een volledig verlies van organische zichtbaarheid.
Stap-voor-stap gids
Lokaliseren of aanmaken
Zorg dat er een bestand genaamd robots.txt aanwezig is in de root van je site (bijv. domein.nl/robots.txt).
User-agents definiëren
Geef aan voor welke bots de regels gelden. Gebruik een asterisk (*) voor alle bots of 'Googlebot' voor specifieke crawlers.
Disallow-regels instellen
Maak een lijst van de mappen of specifieke paden die je afgeschermd wilt houden voor crawlers.
Sitemap link toevoegen
Plaats onderaan het bestand een directe link naar je XML sitemap zodat bots je content makkelijker kunnen vinden.
Controleren op fouten
Gebruik de robots.txt Tester in Google Search Console om te controleren of je geen belangrijke pagina's blokkeert.
Pro Tips
- Gebruik 'Disallow' voor privé- of herhalende pagina's zoals /wp-admin/ of /search/.
- Gebruik robots.txt nooit om gevoelige gebruikersgegevens te verbergen; gebruik daarvoor wachtwoordbeveiliging.
- Houd de syntaxis simpel; complexe regels kunnen leiden tot fouten bij het crawlen.
Hoe pSeoMatic helpt
pSeoMatic monitort je robots.txt bestand automatisch op onverwachte wijzigingen. Mocht een developer per ongeluk een sectie met veel verkeer blokkeren, dan stuurt ons systeem direct een alert om een catastrofale daling in organische zichtbaarheid te voorkomen.
Probeer pSeoMatic gratisGerelateerde vragen
Kan robots.txt voorkomen dat een pagina wordt geïndexeerd?
Het stopt het crawlen, maar indexering kan nog steeds plaatsvinden via externe links. Gebruik een noindex tag voor volledige verwijdering.
Waar plaats ik het robots.txt bestand?
Het moet altijd in de hoofdmap (root) van je website-host staan.
Is robots.txt hoofdlettergevoelig?
Ja, zowel de bestandsnaam als de paden die erin staan zijn hoofdlettergevoelig.
Gerelateerde gidsen
Klaar om dit in de praktijk te brengen?
pSeoMatic genereert duizenden SEO-geoptimaliseerde pagina's op basis van jouw data.