Hvad er en robots.txt-fil?
En robots.txt-fil er et tekstdokument placeret i et websteds rodmappe (root), der fortæller søgemaskiners crawlere, hvilke sider eller sektioner de skal eller ikke skal crawle. Det er et afgørende værktøj til at styre crawl budget og forhindre indeksering af følsomme eller overflødige dele af et site.
Robots.txt-filen er i bund og grund et sæt instruktioner til web-robotter (crawlere). Når en søgemaskine som Google besøger et site, er denne fil det første, den leder efter. Den bruger 'Robots Exclusion Protocol' til at give kommandoer som 'User-agent' (hvem reglen gælder for) og 'Disallow' (hvilke stier der skal ignoreres). Selvom den er fremragende til at forhindre crawlere i at spilde tid på sider med lav værdi – som f.eks. login-sider, interne søgeresultater eller admin-mapper – er det vigtigt at bemærke, at robots.txt ikke er en garanti for, at en side holdes ude af Googles indeks. Hvis en side er blokeret i robots.txt, men har eksterne links, der peger på den, kan Google stadig indeksere URL-adressen. For reelt at forhindre en side i at optræde i søgeresultaterne kræves et 'noindex' tag. Fejlkonfigurering af din robots.txt er en almindelig teknisk SEO-fejl; hvis du ved et uheld blokerer hele dit site, kan det føre til et totalt tab af synlighed, så den skal håndteres med varsomhed.
Trin-for-trin guide
Find eller opret filen
Sørg for, at en fil ved navn robots.txt findes i dit sites rodmappe (f.eks. eksempel.dk/robots.txt).
Definér User-Agents
Specificér hvilke bots reglerne gælder for, brug en asterisk (*) for alle bots eller 'Googlebot' for specifikke.
Opsæt Disallow-regler
List de mapper eller specifikke filstier, du ønsker at holde skjult for søgemaskinernes crawlere.
Tilføj link til Sitemap
Inkludér et direkte link til dit XML sitemap i bunden af filen for at hjælpe bots med at finde dit indhold.
Test for fejl
Brug Google Search Console robots.txt-tester for at sikre, at du ikke blokerer vigtige sider.
Pro Tips
- Brug 'Disallow' til private eller gentagne sider som /wp-admin/ eller /search/.
- Brug aldrig robots.txt til at skjule følsomme brugerdata; brug adgangskodebeskyttelse i stedet.
- Hold syntaksen enkel; komplekse regler kan føre til crawl-fejl.
Hvordan pSeoMatic hjælper
pSeoMatic overvåger automatisk din robots.txt-fil for uventede ændringer. Hvis en udvikler ved et uheld blokerer en sektion med høj trafik, sender vores system en øjeblikkelig advarsel, så du undgår katastrofale fald i organisk synlighed.
Prøv pSeoMatic gratisRelaterede spørgsmål
Kan robots.txt stoppe en side fra at blive indekseret?
Den stopper crawling, men indeksering kan stadig ske, hvis andre sider linker til den. Brug et noindex-tag for fuld fjernelse.
Hvor skal jeg placere robots.txt-filen?
Den skal placeres i hoved-rodmappen (root directory) på din webhost.
Er robots.txt case-sensitiv?
Ja, både filnavnet og de stier, der er angivet i den, er følsomme over for store og små bogstaver.
Relaterede guider
Klar til at føre dette ud i livet?
pSeoMatic genererer tusindvis af SEO-optimerede sider fra dine data.