Jak mohu optimalizovat crawl budget u rozsáhlého webu?

Crawl budget představuje počet stránek, které vyhledávače projdou na vašem webu v daném časovém rámci. Zatímco u malých webů to není problém, pro weby s desítkami tisíc stránek je to kritické. Pokud Googlebot marní čas na zbytečných URL, může mu uniknout váš nový nebo aktualizovaný obsah. Chcete-li jej optimalizovat, musíte nejprve odstranit „balastní“ URL. Pomocí robots.txt zakažte procházení administrátorských stránek, výsledků interního vyhledávání a nekonečných kombinací filtrů. Dále opravte všechny technické chyby; stránky 404 a dlouhé řetězce přesměrování „stojí“ jeden průchod, ale nepřinášejí žádnou hodnotu. Významným faktorem je také výkon – pokud je váš server rychlý, Googlebot může stáhnout více stránek za stejnou dobu, aniž by server přetížil. Nakonec udržujte čistou strukturu interních odkazů a aktuální XML sitemapu. To pomáhá crawlerům rychle najít nejdůležitější obsah. Tím, že zaměříte pozornost Googlu na stránky s vysokou hodnotou, zajistíte rychlejší indexaci a lepší potenciál v rankingu pro obsah, který skutečně přivádí návštěvnost.

Průvodce krok za krokem

Pro tipy

• Pro stránky, u kterých chcete šetřit crawl budget, nepoužívejte 'noindex'; použijte raději robots.txt.
• Pravidelně kontrolujte přehled „Statistiky procházení“ v Google Search Console.
• Ujistěte se, že vaše interní odkazy používají absolutní URL, abyste se vyhnuli zbytečnému zpracování přesměrování.
• Ve své struktuře interních odkazů upřednostněte své nejdůležitější stránky.

Související průvodci