Co je crawl budget
Crawl budget (rozpočet pro procházení) označuje množství stránek webu, které je vyhledávač – nejčastěji Googlebot – ochoten a schopen za určité časové období procházet a indexovat.
Tento limit není veřejně přesně definován, protože se liší podle webu, jeho velikosti, kvality, rychlosti načítání, autority i technického nastavení.
Optimalizace crawl budgetu je klíčová zejména pro velké weby, e-shopy nebo weby s často se měnícím obsahem, kde je důležité, aby se všechny důležité stránky pravidelně a rychle dostaly do indexu vyhledávače.
Jak crawl budget funguje
Crawl budget je ovlivněn kombinací dvou hlavních faktorů:
- Crawl rate limit – technické omezení počtu požadavků, které robot provede, aby web nepřetěžoval
- Crawl demand – míra zájmu vyhledávače o procházení konkrétní stránky na základě její popularity a aktualizací
Tyto faktory dohromady určují, kolik stránek bude robot schopen projít a kdy.
Co crawl budget ovlivňuje
Správné využití crawl budgetu závisí na technickém stavu webu, jeho struktuře i obsahu. Uvedené faktory mohou rozpočet buď zlepšit, nebo naopak plýtvat cennou kapacitou robotů.
Mezi hlavní faktory patří:
- Rychlost načítání stránek – pomalý web zpomaluje práci robotů
- Počet a kvalita odkazů – interní prolinkování usnadňuje objevování obsahu
- Duplicitní obsah – zbytečně spotřebovává crawl budget
- Nekvalitní či irelevantní stránky – robot může trávit čas na málo hodnotném obsahu
- Správné nastavení souboru robots.txt a meta tagů – zabrání procházení zbytečných URL
- Chyby 404 a přesměrování – nadměrné množství chyb nebo řetězení přesměrování snižuje efektivitu procházení
Jak crawl budget optimalizovat
Cílem optimalizace je nasměrovat crawl budget na stránky, které mají pro SEO největší význam, a minimalizovat procházení zbytečných URL.
Doporučené postupy:
- Odstraňte nebo zablokujte duplicitní obsah a obsah s nízkou hodnotou
- Optimalizujte rychlost načítání webu (zde je návod)
- Udržujte přehlednou a logickou strukturu webu
- Využívejte interní odkazy k propojení důležitých stránek
- Sledujte data v Google Search Console (sekce Statistiky procházení)
- Pravidelně kontrolujte, zda vyhledávače neprocházejí irelevantní URL (filtry, parametry v e-shopech)