Co je Crawl rate limit
Crawl rate limit (česky limit rychlosti procházení) je pojem z oblasti SEO a indexace, který označuje technické omezení počtu požadavků, které může vyhledávací robot (např. Googlebot) provést na webu během určitého času.
Smyslem je zabránit tomu, aby robot přetížil server, na kterém je daný web umístěný, příliš častým procházením stránek.
Google se proto snaží udržovat rovnováhu mezi co nejrychlejším procházením webu a zachováním jeho dostupnosti pro reálné uživatele.
Jak crawl rate limit funguje
Vyhledávače při procházení sledují odezvu serveru. Pokud web reaguje rychle a bez chyb, robot může zvýšit rychlost procházení. Pokud je server přetížený nebo vrací chyby (např. 5xx), robot sníží crawl rate, aby serveru „ulevil“.
Hlavní faktory:
- kapacita a výkon serveru
- doba odezvy při načítání stránek
- počet chybových kódů, které robot obdrží
- nastavení v Google Search Console (dříve bylo možné crawl rate částečně omezit)
Jak crawl rate limit optimalizovat
Ačkoli není možné crawl rate limit přímo „nastavit“ (Google si jej určuje automaticky), správnou správou webu můžete zajistit, aby robot procházel web co nejefektivněji.
- Optimalizujte rychlost načítání webu (cache, CDN, komprese obrázků – zde je návod).
- Zajistěte stabilní a výkonný webhosting.
- Minimalizujte chyby 5xx a 404, které robotům signalizují problémy.
- Udržujte čistý odkazový profil a logickou strukturu webu.
- Používejte sitemap.xml k usnadnění navigace robotů.