Generátor robots.txt
Generujte soubory robots.txt vizuálně s pravidly pro user-agenty, správou cest, blokováním AI botů a testováním URL.
User-agent: * Disallow:
O generátoru robots.txt
Soubor robots.txt říká webovým prohledávačům, které stránky nebo sekce vašeho webu mohou nebo nemohou přistupovat. Používá protokol Robots Exclusion Protocol se směrnicemi User-agent, Disallow, Allow, Crawl-delay a Sitemap. Správně nakonfigurované soubory robots.txt pomáhají spravovat rozpočet procházení, chránit soukromé stránky a řídit sběr dat AI.
Jak používat
Vyberte rychlou šablonu nebo vytvořte vlastní pravidla. Přidejte pravidla pro user-agenty (konkrétní roboty nebo všechny roboty pomocí *). Pro každého robota přidejte cesty Disallow pro blokování a Allow pro povolení. Přidejte URL své sitemapy. Použijte tester URL k ověření, zda by konkrétní URL byla povolena nebo zablokována. Zkopírujte nebo stáhněte vygenerovaný robots.txt a nahrajte jej do kořenového adresáře svého webu.
Běžné případy použití
- Blokování AI web scraperů (GPTBot, CCBot) od trénování na vašem obsahu
- Ochrana administrátorských, přihlašovacích a soukromých stránek před vyhledávači
- Konfigurace rozpočtu procházení blokováním duplicitních/slabých stránek
- Nastavení robots.txt pro WordPress, e-shopy nebo vlastní weby
- Testování a validace existujících pravidel robots.txt proti konkrétním URL