Co je to soubor robots.txt?
Soubor robots.txt je textový dokument umístěný v kořenovém adresáři webu, který říká crawlerům vyhledávačů, které stránky nebo sekce by měli či neměli procházet. Je to zásadní nástroj pro správu crawl budgetu a zamezení indexace citlivých nebo duplicitních částí webu.
Soubor robots.txt je v podstatě soubor instrukcí pro webové roboty (crawlery). Když vyhledávač jako Google navštíví web, první věc, kterou hledá, je právě tento soubor. Využívá protokol „Robots Exclusion Protocol“ k udělování příkazů jako „User-agent“ (komu pravidlo patří) a „Disallow“ (které cesty mají být ignorovány). I když je skvělý pro zamezení plýtvání časem crawlerů na stránkách s nízkou hodnotou – jako jsou přihlašovací obrazovky, výsledky interního vyhledávání nebo administrátorské složky – je důležité poznamenat, že robots.txt není garantovaný způsob, jak udržet stránku mimo index Google. Pokud je stránka blokována v robots.txt, ale vedou na ni externí odkazy, Google může URL stále indexovat. Pro skutečné odstranění stránky z výsledků vyhledávání je nutný tag „noindex“. Chybná konfigurace robots.txt je častou technickou SEO chybou; nechtěné zakázání celého webu může vést k úplné ztrátě viditelnosti, proto je třeba s ním zacházet opatrně.
Průvodce krok za krokem
Najděte nebo vytvořte soubor
Ujistěte se, že v kořenovém adresáři vašeho webu existuje soubor robots.txt (např. example.cz/robots.txt).
Definujte User-Agenty
Určete, pro které roboty pravidla platí; použijte hvězdičku (*) pro všechny nebo „Googlebot“ pro specifické roboty.
Nastavte pravidla Disallow
Seznamte adresáře nebo konkrétní cesty k souborům, které chcete skrýt před crawlery vyhledávačů.
Přidejte odkaz na Sitemap
Na konec souboru vložte přímý odkaz na vaši XML sitemapu, abyste robotům usnadnili hledání obsahu.
Otestujte chyby
Použijte robots.txt Tester v Google Search Console, abyste se ujistili, že neblokujete důležité stránky.
Pro tipy
- Příkaz „Disallow“ používejte pro soukromé nebo duplicitní stránky jako /wp-admin/ nebo /search/.
- Nikdy nepoužívejte robots.txt ke skrytí citlivých uživatelských dat; k tomu slouží ochrana heslem.
- Udržujte syntaxi jednoduchou; složitá pravidla mohou vést k chybám při procházení.
Jak pSeoMatic pomáhá
pSeoMatic automaticky monitoruje váš soubor robots.txt a hlídá nečekané změny. Pokud vývojář omylem zablokuje vysoce navštěvovanou sekci vašeho webu, náš systém okamžitě odešle upozornění, čímž zabrání katastrofálnímu propadu organické viditelnosti.
Vyzkoušejte pSeoMatic zdarmaSouvisející dotazy
Může robots.txt zabránit indexaci stránky?
Zastaví procházení (crawling), ale k indexaci může stále dojít, pokud na stránku odkazují jiné weby. Pro úplné odstranění použijte tag noindex.
Kam mám soubor robots.txt umístit?
Musí být umístěn v hlavním kořenovém adresáři (root) vašeho webu.
Záleží v robots.txt na velikosti písmen?
Ano, název souboru i cesty k adresářům uvedené uvnitř rozlišují velká a malá písmena.
Související průvodci
Jste připraveni to uvést do praxe?
pSeoMatic generuje tisíce SEO-optimalizovaných stránek z vašich dat.