Генератор Robots.txt

Файл robots.txt повідомляє веб-краулерам, до яких сторінок або розділів вашого сайту вони можуть або не можуть мати доступ. Він використовує протокол Robots Exclusion з директивами User-agent, Disallow, Allow, Crawl-delay та Sitemap. Правильно налаштований robots.txt допомагає керувати бюджетом краулінгу, захищати приватні сторінки та контролювати збір даних AI.

Переглянути всі інструменти категорії Для розробників

Як користуватися

Оберіть швидкий шаблон або створіть власні правила. Додайте правила user-agent (конкретні боти або всі боти з *). Для кожного бота додайте шляхи Disallow для блокування та Allow для дозволу. Додайте URL вашої карти сайту. Використовуйте тестер URL, щоб перевірити, чи буде конкретний URL дозволений або заблокований. Скопіюйте або завантажте створений robots.txt та завантажте його в корінь вашого сайту.

Поширені випадки використання

• •Блокування AI-скраперів (GPTBot, CCBot) від навчання на вашому контенті
• •Захист адмін-панелі, сторінок входу та приватних сторінок від пошукових систем
• •Налаштування бюджету краулінгу шляхом блокування дубльованого/тонкого контенту
• •Налаштування robots.txt для WordPress, інтернет-магазинів або власних сайтів
• •Тестування та валідація наявних правил robots.txt для конкретних URL

Відпочиньте — грайте у безкоштовні браузерні ігри