Interní vyhledávání může vypadat jako hacknuté

Google varuje: otevřené interní vyhledávání může spammerům vyrobit tisíce indexovatelných URL. Řešení? Blokovat procházení v robots.txt a zamezit indexaci, jinak trpí crawl budget i důvěryhodnost webu.

---

Máte interní vyhledávání otevřené pro roboty a berete ho jako detail. Spammerům stačí pár dotazů, a přes výsledky vzniknou tisíce indexovatelných URL. John Mueller a Martin Splitt z Googlu varují, že z webu pak mizí crawl budget, roste zátěž serveru a Search Console může ukázat i podezření na hacknutý web.

Google považuje zneužité stránky interního vyhledávání za hacknuté

John Mueller a Martin Splitt z Googlu upozornili na praxi, kdy spammeři zneužívají vyhledávací funkce webů k vytváření tisíců spamových vyhledávacích stránek.

Google k nim začíná přistupovat jako k hacknutým stránkám a stejný pohled se může projevit i ve Search Console. Interní vyhledávání tak přestává být nevinný detail a stává se problémem kvality i reputace webu.

Jak vznikají URL z interního vyhledávání

Téměř každý web má vlastní vyhledávání a každé zadání dotazu vytvoří stránku s výsledky. Zároveň často vznikne i URL, které tu stránku zpřístupní přímo.

Právě v tom se skrývá slabé místo. Spammer pak dokáže přes vyhledávací pole vyrábět tisíce adres s vlastní značkou, URL i klíčovými slovy souvisejícími se spamem.

Kdy se interní vyhledávání mění v problém kvality

V okamžiku, kdy se tyto automaticky generované stránky dají indexovat, přestává jít o neutrální funkci webu. Podle Muellera se spam ve vyhledávání stává problémem kvality právě ve chvíli, kdy jsou spamové stránky indexované nebo indexovatelné.

Podle Muellera se vyhledávací pole může stát vektorem, přes který spamují jiní lidé. Jakmile web dovolí hledat irelevantní věci a výsledky zůstanou otevřené pro indexaci, vzniká odpovědnost i technický dluh.

Dopady spamových výsledkových stránek ve vyhledávání Google

Spamové stránky z interního vyhledávání se mohou objevit ve výsledcích Google a působit jako cizí obsah na našem webu. Z pohledu vlastníka to snadno vypadá jako vyřešená věc, protože Google část z nich zachytí algoritmicky a zablokuje jejich zobrazení.

Právě tady vzniká nebezpečný klid. Algoritmické potlačení neřeší příčinu problému, jen tlumí jeho viditelnost navenek. Pokud se spokojíme s dojmem, že je po všem, necháme otevřený stav, který dál nese riziko pro kvalitu i důvěryhodnost webu.

Google může spam utlumit. Zásah vyhledávače ale technickou nápravu na webu nenahradí.

Jak spam z interního vyhledávání zablokovat

Mueller a Splitt doporučili dva zásahy: zabránit procházení a zabránit indexaci.

Podle nich má první krok vést přes robots.txt, aby se Googlu a dalším vyhledávačům zabránilo procházet stránky s automaticky generovanými vyhledávacími boxy. Jako doplněk zmiňují také noindex.

Robots.txt označují jako jednodušší a čistší řešení. Doporučují co nejširší a nejobecnější pravidlo, které zachytí všechny varianty automaticky generovaných stránek s výsledky vyhledávání.

Když web zobrazuje výsledky vyhledávání na adresách začínajících /hledat, pravidlo v robots.txt může vypadat takto:

User-agent: *
Disallow: /hledat

Pokud vyhledávání pracuje s parametrem v adrese, například ?s= ve WordPressu, pravidlo zní Disallow: /*?s=.

Na pořadí kroků záleží. Značku noindex Google uvidí, jen když stránku smí procházet. Pokud už spamové stránky v indexu jsou, nejdřív jim dejte meta značku robots s hodnotou noindex a nechte je procházet. Po jejich vyřazení z indexu je zablokujte v robots.txt. Na webu, kde se spamové adresy do indexu ještě nedostaly, stačí rovnou robots.txt.

Noindex se zapisuje do stránky jako meta značka robots nebo do hlavičky HTTP X-Robots-Tag. Zápis noindex do souboru robots.txt Google od roku 2019 nepodporuje.

Nekonečné procházení, zátěž serveru a plýtvání crawl budgetem

Martin Splitt popsal, že některé implementace vyhledávacích polí se mohou rozjet do nekonečného procházení. V praxi do hry vstupuje funkce „mysleli jste tím“, která reaguje na to, jak Google tyto stránky prochází, a dál generuje nové URL.

Vzniká tak dvojí problém. Podle Johna Muellera se Google může pokusit procházet nekonečné množství stránek, což se rychle mění v otázku rozpočtu na procházení a zátěže serveru. Vedle toho dochází k plýtvání crawl budgetem, protože robot tráví čas na stránkách, které nepřinášejí užitečný obsah.

Splitt zároveň uvedl, že se těchto stránek dá relativně snadno zbavit pomocí robots.txt nebo noindex. My z toho čteme jasný praktický vzkaz: když interní vyhledávání samo vyrábí další a další adresy, nejde o drobný technický detail, ale o provozní zátěž, která se sama nevyřeší.

Interní vyhledávání není jen funkce, ale i vstupní bod pro spam

Google na spamové výsledkové stránky z interního vyhledávání nenahlíží jako na nevinný vedlejší produkt webu, ale jako na technický problém, který může připomínat hacknutý obsah a vytvářet zbytečný tlak na crawling i kvalitu webu. To je podstata celé věci: jakmile necháme interní vyhledávání otevřené pro procházení a indexaci, nepřidáváme jen pár zbytečných URL, ale dáváme spammerům prostor, který se dál sám násobí.

Provozní závěr je přitom poměrně přímočarý. Spoléhat na to, že si to Google nějak vyřeší sám, je špatný předpoklad. Algoritmus může část škody utlumit ve výsledcích, ale neodstraní příčinu. Nejčistší postup je blokovat procházení přes robots.txt. Pokud už spamové adresy v indexu jsou, nejdřív je nechte vyřadit pomocí noindex a robots.txt nasaďte až potom. Když to neuděláme my, interní vyhledávání se z UX prvku snadno promění v SEO problém, který zbytečně žere crawl budget a podkopává důvěryhodnost webu.

Zdroj: Google May Treat Search Box Pages As A Site Quality Issue (Search Engine Journal)

---