مولّد Robots.txt

ملف robots.txt يخبر زواحف الويب بالصفحات أو الأقسام التي يمكنها أو لا يمكنها الوصول إليها في موقعك. يستخدم بروتوكول استبعاد الروبوتات مع توجيهات User-agent و Disallow و Allow و Crawl-delay و Sitemap. ملفات robots.txt المُعدّة بشكل صحيح تساعد في إدارة ميزانية الزحف وحماية الصفحات الخاصة والتحكم في جمع بيانات الذكاء الاصطناعي.

تصفح جميع أدوات المطور

كيفية الاستخدام

اختر قالباً سريعاً أو أنشئ قواعد مخصصة. أضف قواعد وكيل المستخدم (روبوتات محددة أو جميع الروبوتات بـ *). لكل روبوت، أضف مسارات Disallow للحظر ومسارات Allow للسماح. أضف رابط خريطة الموقع. استخدم مختبر الروابط للتحقق مما إذا كان رابط معين سيُسمح به أو يُحظر. انسخ أو نزّل ملف robots.txt المُولّد وارفعه إلى جذر موقعك.

حالات الاستخدام الشائعة

• •حظر زواحف الذكاء الاصطناعي (GPTBot، CCBot) من التدريب على محتواك
• •حماية صفحات الإدارة وتسجيل الدخول والصفحات الخاصة من محركات البحث
• •تهيئة ميزانية الزحف بحظر صفحات المحتوى المكرر/الضعيف
• •إعداد robots.txt لـ WordPress أو التجارة الإلكترونية أو المواقع المخصصة
• •اختبار والتحقق من قواعد robots.txt الحالية مقابل روابط محددة

خذ استراحة والعب ألعاب متصفح مجانية