Robots.txt जेनरेटर

robots.txt फ़ाइल वेब क्रॉलर को बताती है कि वे आपकी वेबसाइट के किन पृष्ठों या अनुभागों तक पहुंच सकते हैं या नहीं। यह User-agent, Disallow, Allow, Crawl-delay और Sitemap निर्देशों के साथ Robots Exclusion Protocol का उपयोग करता है। ठीक से कॉन्फ़िगर की गई robots.txt फ़ाइलें क्रॉल बजट को प्रबंधित करने, निजी पृष्ठों की सुरक्षा करने और AI डेटा संग्रह को नियंत्रित करने में मदद करती हैं।

सभी डेवलपर टूल ब्राउज़ करें

उपयोग कैसे करें

एक त्वरित टेम्पलेट चुनें या कस्टम नियम बनाएं। User-agent नियम जोड़ें (विशिष्ट बॉट या * के साथ सभी बॉट)। प्रत्येक बॉट के लिए, ब्लॉक करने के लिए Disallow पाथ और अनुमति देने के लिए Allow पाथ जोड़ें। अपना sitemap URL जोड़ें। यह सत्यापित करने के लिए URL टेस्टर का उपयोग करें कि एक विशिष्ट URL को अनुमति दी जाएगी या ब्लॉक किया जाएगा। जनरेट की गई robots.txt को कॉपी या डाउनलोड करें और इसे अपनी वेबसाइट रूट पर अपलोड करें।

सामान्य उपयोग के मामले

• •AI वेब स्क्रैपर (GPTBot, CCBot) को आपकी सामग्री पर प्रशिक्षण से रोकना
• •एडमिन, लॉगिन और निजी पृष्ठों को सर्च इंजन से बचाना
• •डुप्लिकेट/थिन सामग्री पृष्ठों को ब्लॉक करके क्रॉल बजट को कॉन्फ़िगर करना
• •WordPress, ई-कॉमर्स, या कस्टम साइटों के लिए robots.txt सेट करना
• •विशिष्ट URLs के विरुद्ध मौजूदा robots.txt नियमों का परीक्षण और सत्यापन करना

ब्रेक लें और मुफ़्त ब्राउज़र गेम्स खेलें