Robotům stačí jedno špatné pravidlo. A web zmizí ze scény

Proč jedno pravidlo rozhoduje o viditelnosti celého webu

Vyhledávací roboti nejsou „chytrá inteligence“, která si domyslí váš záměr. Řídí se přesnými instrukcemi a při technickém SEO platí jednoduché pravidlo: když jim něco zakážete, většinou to respektují. V praxi tak může jediný špatně nasazený robots.txt, omylem přidaný noindex nebo globální hlavička X-Robots-Tag vymazat z indexu stovky URL během několika hodin až dnů. U větších webů jde často o problém, který se projeví později v poklesu impresí, ne hned.

Data z praxe ukazují, že největší ztráty nevznikají kvůli „velkým“ chybám, ale kvůli drobným přehlédnutím při nasazení. Typický scénář: staging prostředí se omylem propaguje do produkce, CMS přidá noindex na špatnou šablonu, nebo CDN vrací nečekanou robots hlavičku. Následkem je pokles viditelnosti v Google Search Console, ztráta crawl budgetu a u e-shopů i propad obratu z organiky.

Robots.txt: malý soubor, velký dopad

robots.txt je první místo, kde je potřeba začít. Slouží k řízení přístupu robotů k URL, ale není to nástroj pro „skrývání“ obsahu před světem. Pokud stránka dostane zákaz pro crawl, může ji Google stále znát z odkazů, ale bez přístupu k obsahu ji obvykle nezaindexuje správně. A pokud je blokace aplikovaná na důležité CSS, JS nebo obrázky, poškodí se i renderování stránky a tím i hodnocení kvality.

Nejčastější chyby:

• Disallow: / nasazené na produkci místo stagingu.
• Blokace složek s JavaScriptem nebo stylem, které Google potřebuje pro vykreslení stránky.
• Chybná práce s parametry URL, která blokuje důležité produktové stránky nebo filtry.
• Zapomenuté pravidlo po migraci, které brání indexaci nové struktury webu.

Praktický postup: otevřete Google Search Console → Kontrola URL, otestujte konkrétní adresu a sledujte, zda Googlebot vidí stránku bez omezení. Poté zkontrolujte robots.txt nástrojem v Search Console nebo crawlerem typu Screaming Frog, Sitebulb či Ahrefs Site Audit. U větších webů je dobré porovnat robots pravidla s logy serveru, protože z nich poznáte, co roboti skutečně navštěvují.

Meta robots a X-Robots-Tag: když se zákaz schová tam, kde ho nečekáte

Další častý problém je meta robots v HTML nebo hlavička X-Robots-Tag v odpovědi serveru. Obojí může říct robotům, aby stránku neindexovali, nesledovali odkazy nebo aby ji vůbec neukládali do cache. To je užitečné pro interní stránky, košík, výsledky vyhledávání na webu nebo administraci, ale nebezpečné, pokud se pravidlo aplikuje plošně.

Typické chyby v praxi:

• <meta name=“robots“ content=“noindex, nofollow“> v šabloně, která se omylem použije i na veřejné stránky.
• X-Robots-Tag nastavený na úrovni serveru nebo CDN pro celý adresář.
• Kombinace noindex a kanonikalizace, která mate vyhledávač a zpomaluje reindexaci.
• Dočasný noindex po migraci, který nikdo po spuštění neodstraní.

Pokud chcete rychle ověřit, co stránka skutečně posílá, použijte curl -I, DevTools nebo online HTTP hlavičkové checkery. U WordPressu je vhodné zkontrolovat i SEO pluginy jako Yoast nebo Rank Math, protože některé nastavení mohou být přepsané na úrovni šablony, pluginu i serveru zároveň. Většina problémů vzniká právě z toho, že se pravidlo nastaví na více místech a výsledný efekt pak není zřejmý.

Indexace není crawl: co robot smí projít, nemusí zobrazit

Jedna z nejčastějších chyb je záměna procházení a indexace. To, že Googlebot stránku navštíví, neznamená, že ji zařadí do výsledků. Může narazit na noindex, slabý obsah, duplicitní URL, kanonizaci na jinou stránku nebo technickou chybu při renderování. Naopak stránka může být indexovaná, i když je v robots.txt blokovaná, pokud ji vyhledávač zná z externích odkazů.

Proto je potřeba sledovat několik signálů najednou:

• Coverage / Indexing report v Google Search Console.
• Inspect URL pro konkrétní důležité stránky.
• Server logy pro reálné návštěvy robotů.
• Crawl data ze Screaming Frog nebo Sitebulb pro odhalení špatných direktiv.

U e-shopů doporučuji jednou týdně kontrolovat alespoň tři vzorky: hlavní kategorii, produkt a stránku s filtrem. Pokud se liší indexační stav, title, canonical nebo robots instrukce, bývá problém v šabloně nebo pravidlech pro parametry. U obsahových webů je zase častá chyba v tag archivech, stránkování a interním vyhledávání, které generuje tisíce zbytečných URL.

Jak nastavit pravidla bezpečně: checklist pro vývoj i SEO

Bezpečné řízení robotů není o jednom souboru, ale o procesu. V ideálním případě by měl mít web jasnou dokumentaci, kde je definováno, co má být indexovatelné, co má být crawlable a co má zůstat skryté. To je důležité hlavně při migracích, redesignu a změnách CMS.

Praktický checklist:

• Na stagingu použijte noindex a zároveň ochranu přístupem, ne blokaci produkčního robots.txt.
• Po spuštění zkontrolujte, že produkční robots.txt neobsahuje globální zákaz.
• Ověřte, že důležité CSS a JS nejsou blokované.
• Porovnejte canonical, meta robots a HTTP hlavičky na vzorku klíčových URL.
• Po migraci sledujte indexaci minimálně 2–4 týdny v Search Console.
• Vytvořte automatický monitoring změn robots.txt a hlaviček, například přes ContentKing, Little Warden nebo vlastní skript.

U větších projektů se vyplatí nastavit i alerty na změnu status kódu, canonical tagů a robots direktiv. Z praxe víme, že právě automatický monitoring zachytí problém dřív, než se propadne organika. Pokud má web desítky tisíc URL, jeden omyl v pravidlech může znamenat ztrátu velké části long-tail návštěvnosti, kterou pak nelze obnovit během několika dní.

Jak z chyb udělat systémovou prevenci

Nejspolehlivější ochrana je kombinace technické kontroly, procesů a pravidelného auditu. Při každém release by měl někdo ověřit, že se nezměnily indexační direktivy, robots.txt a HTTP hlavičky. V DevOps prostředí je vhodné mít kontrolu i v CI/CD pipeline, aby se produkční nasazení zastavilo, pokud skript detekuje zakázanou direktivu na veřejných URL.

Vyplatí se také držet jednoduchou zásadu: zakazujte co nejméně, povolujte co nejvíce. Pokud něco nechcete indexovat, řešte to přes noindex nebo autentizaci, ne přes plošnou blokaci, pokud tím zároveň potřebujete obsah pro renderování nebo interní odkazování. A pokud si nejste jistí, vždy testujte na konkrétní URL, ne na domněnku, co „asi“ robot vidí.

Technické SEO je v tomto směru neúprosné. Robot se neptá, co jste zamýšleli. Čte jen to, co skutečně vrací server, šablona a pravidla kolem nich. A právě proto je kontrola jediného špatného pravidla jedním z nejlevnějších a nejúčinnějších zásahů, které můžete pro viditelnost webu udělat.