Robots.txt-generator

Filen robots.txt berättar för webbcrawlers vilka sidor eller avsnitt av din webbplats de kan eller inte kan komma åt. Den använder Robots Exclusion Protocol med direktiven User-agent, Disallow, Allow, Crawl-delay och Sitemap. Korrekt konfigurerade robots.txt-filer hjälper till att hantera crawlbudget, skydda privata sidor och kontrollera AI-datainsamling.

Bläddra bland alla Utvecklare-verktyg

Så använder du

Välj en snabbmall eller bygg anpassade regler. Lägg till user-agent-regler (specifika botar eller alla botar med *). För varje bot, lägg till Disallow-sökvägar för att blockera och Allow-sökvägar för att tillåta. Lägg till din sitemap-URL. Använd URL-testaren för att verifiera om en specifik URL skulle tillåtas eller blockeras. Kopiera eller ladda ner den genererade robots.txt och ladda upp den till din webbplats rot.

Vanliga användningsområden

• •Blockera AI-webbskrapor (GPTBot, CCBot) från att träna på ditt innehåll
• •Skydda admin-, inloggnings- och privata sidor från sökmotorer
• •Konfigurera crawlbudget genom att blockera dubbletter/tunt innehåll
• •Konfigurera robots.txt för WordPress, e-handel eller anpassade webbplatser
• •Testa och validera befintliga robots.txt-regler mot specifika URL:er

Ta en paus och spela gratis webbläsarspel