Generator robots.txt
Generuj pliki robots.txt wizualnie z regułami agentów, kontrolą ścieżek, blokowaniem botów AI i testowaniem URL.
User-agent: * Disallow:
O generatorze robots.txt
Plik robots.txt informuje roboty internetowe, do których stron lub sekcji witryny mogą lub nie mogą uzyskać dostępu. Wykorzystuje protokół Robots Exclusion z dyrektywami User-agent, Disallow, Allow, Crawl-delay i Sitemap. Prawidłowo skonfigurowane pliki robots.txt pomagają zarządzać budżetem indeksowania, chronić prywatne strony i kontrolować zbieranie danych przez AI.
Jak uzywac
Wybierz szybki szablon lub zbuduj niestandardowe reguły. Dodaj reguły agenta (konkretne boty lub wszystkie boty z *). Dla każdego bota dodaj ścieżki Disallow do zablokowania i Allow do zezwolenia. Dodaj URL mapy witryny. Użyj testera URL, aby sprawdzić, czy konkretny URL byłby dozwolony lub zablokowany. Skopiuj lub pobierz wygenerowany robots.txt i prześlij go do katalogu głównego witryny.
Typowe scenariusze uzycia
- Blokowanie scraperów AI (GPTBot, CCBot) przed szkoleniem na treściach
- Ochrona stron administracyjnych, logowania i prywatnych przed wyszukiwarkami
- Konfiguracja budżetu indeksowania przez blokowanie zduplikowanych/cienkich stron
- Konfiguracja robots.txt dla WordPress, e-commerce lub witryn niestandardowych
- Testowanie i walidacja istniejących reguł robots.txt dla konkretnych URL