AkousaGenerador de robots.txt
Genera archivos robots.txt visualmente con reglas de user-agent, controles de ruta, bloqueo de bots de IA y prueba de URLs.
User-agent: * Disallow:
Acerca del generador de Robots.txt
El archivo robots.txt indica a los rastreadores web qué páginas o secciones de tu sitio web pueden o no acceder. Utiliza el Protocolo de Exclusión de Robots con directivas User-agent, Disallow, Allow, Crawl-delay y Sitemap. Archivos robots.txt correctamente configurados ayudan a gestionar el presupuesto de rastreo, proteger páginas privadas y controlar la recopilación de datos por IA.
Cómo usar
Elige una plantilla rápida o crea reglas personalizadas. Agrega reglas de user-agent (bots específicos o todos los bots con *). Para cada bot, agrega rutas Disallow para bloquear y rutas Allow para permitir. Agrega la URL de tu sitemap. Usa el probador de URLs para verificar si una URL específica sería permitida o bloqueada. Copia o descarga el robots.txt generado y súbelo a la raíz de tu sitio web.
Casos de uso comunes
- Bloquear rastreadores de IA (GPTBot, CCBot) para que no se entrenen con tu contenido
- Proteger páginas de administración, inicio de sesión y privadas de motores de búsqueda
- Configurar presupuesto de rastreo bloqueando páginas duplicadas o de poco contenido
- Configurar robots.txt para WordPress, comercio electrónico o sitios personalizados
- Probar y validar reglas de robots.txt existentes contra URLs específicas