Robots.txt-Generator

Die robots.txt-Datei teilt Web-Crawlern mit, welche Seiten oder Bereiche Ihrer Website sie aufrufen dürfen oder nicht. Sie verwendet das Robots Exclusion Protocol mit User-agent-, Disallow-, Allow-, Crawl-delay- und Sitemap-Direktiven. Korrekt konfigurierte robots.txt-Dateien helfen bei der Verwaltung des Crawl-Budgets, schützen private Seiten und kontrollieren die KI-Datenerfassung.

Alle Entwickler-Tools durchsuchen

Anleitung

Wählen Sie eine Schnellvorlage oder erstellen Sie benutzerdefinierte Regeln. Fügen Sie User-Agent-Regeln hinzu (spezifische Bots oder alle Bots mit *). Für jeden Bot fügen Sie Disallow-Pfade zum Blockieren und Allow-Pfade zum Erlauben hinzu. Fügen Sie Ihre Sitemap-URL hinzu. Verwenden Sie den URL-Tester, um zu überprüfen, ob eine bestimmte URL erlaubt oder blockiert wird. Kopieren oder laden Sie die generierte robots.txt herunter und laden Sie sie in Ihr Website-Stammverzeichnis hoch.

Häufige Anwendungsfälle

• •KI-Web-Scraper (GPTBot, CCBot) am Training mit Ihren Inhalten hindern
• •Admin-, Login- und private Seiten vor Suchmaschinen schützen
• •Crawl-Budget konfigurieren durch Blockierung duplizierter/dünner Inhaltsseiten
• •Robots.txt für WordPress, E-Commerce oder benutzerdefinierte Websites einrichten
• •Bestehende robots.txt-Regeln gegen bestimmte URLs testen und validieren

Machen Sie eine Pause und spielen Sie kostenlose Browserspiele