Generatore robots.txt
Genera file robots.txt visivamente con regole user-agent, controlli di percorso, blocco bot IA e test URL.
Informazioni su Robots.txt Generator
Il file robots.txt indica ai web crawler quali pagine o sezioni del tuo sito web possono o non possono accedere. Utilizza il Protocollo di Esclusione dei Robot con le direttive User-agent, Disallow, Allow, Crawl-delay e Sitemap. I file robots.txt configurati correttamente aiutano a gestire il budget di scansione, proteggere le pagine private e controllare la raccolta dati da parte dell'IA.
Come usare
Scegli un modello rapido o crea regole personalizzate. Aggiungi regole user-agent (bot specifici o tutti i bot con *). Per ogni bot, aggiungi percorsi Disallow per bloccare e percorsi Allow per consentire. Aggiungi l'URL della sitemap. Usa il tester URL per verificare se un URL specifico verrebbe consentito o bloccato. Copia o scarica il robots.txt generato e caricalo nella root del tuo sito web.
Casi d'uso comuni
- Bloccare i web scraper IA (GPTBot, CCBot) dall'addestrarsi sui tuoi contenuti
- Proteggere le pagine admin, login e private dai motori di ricerca
- Configurare il budget di scansione bloccando pagine duplicate/sottili
- Configurare robots.txt per WordPress, e-commerce o siti personalizzati
- Testare e validare le regole robots.txt esistenti su URL specifici