Генератор robots.txt
Создавайте файлы robots.txt визуально с правилами для ботов, управлением путями, блокировкой AI-ботов и тестированием URL.
User-agent: * Disallow:
О генераторе robots.txt
Файл robots.txt сообщает поисковым роботам, какие страницы или разделы вашего сайта они могут или не могут посещать. Он использует протокол исключения роботов с директивами User-agent, Disallow, Allow, Crawl-delay и Sitemap. Правильно настроенный robots.txt помогает управлять бюджетом сканирования, защищать закрытые страницы и контролировать сбор данных ИИ.
Как использовать
Выберите готовый шаблон или создайте пользовательские правила. Добавьте правила User-agent (конкретные боты или все боты с *). Для каждого бота добавьте пути Disallow для блокировки и Allow для разрешения. Добавьте URL-адрес карты сайта. Используйте тестер URL для проверки, будет ли конкретный URL разрешён или заблокирован. Скопируйте или скачайте сгенерированный robots.txt и загрузите его в корень вашего сайта.
Частые случаи использования
- Блокировка AI-скрейперов (GPTBot, CCBot) от обучения на вашем контенте
- Защита страниц администрирования, входа и закрытых разделов от поисковых систем
- Настройка бюджета сканирования путём блокировки дублирующихся/малосодержательных страниц
- Настройка robots.txt для WordPress, интернет-магазинов или пользовательских сайтов
- Тестирование и проверка существующих правил robots.txt для конкретных URL