AkousaTrình tạo Robots.txt
Tạo tệp robots.txt trực quan với quy tắc user-agent, kiểm soát đường dẫn, chặn bot AI và kiểm tra URL.
User-agent: * Disallow:
Giới thiệu trình tạo Robots.txt
Tệp robots.txt cho các trình thu thập web biết trang nào hoặc phần nào của trang web mà chúng có thể hoặc không thể truy cập. Nó sử dụng Giao thức loại trừ robot với các chỉ thị User-agent, Disallow, Allow, Crawl-delay và Sitemap. Cấu hình robots.txt đúng cách giúp quản lý ngân sách thu thập, bảo vệ các trang riêng tư và kiểm soát thu thập dữ liệu AI.
Cách sử dụng
Chọn mẫu nhanh hoặc xây dựng quy tắc tùy chỉnh. Thêm quy tắc user-agent (bot cụ thể hoặc tất cả bot với *). Cho mỗi bot, thêm đường dẫn Disallow để chặn và đường dẫn Allow để cho phép. Thêm URL sitemap. Sử dụng trình kiểm tra URL để xác minh URL cụ thể sẽ được cho phép hoặc chặn. Sao chép hoặc tải xuống robots.txt đã tạo và tải lên thư mục gốc trang web.
Trường hợp sử dụng phổ biến
- Chặn trình thu thập AI (GPTBot, CCBot) thu thập nội dung của bạn để huấn luyện
- Bảo vệ trang quản trị, đăng nhập và riêng tư khỏi công cụ tìm kiếm
- Cấu hình ngân sách thu thập bằng cách chặn trang trùng lặp/nội dung mỏng
- Thiết lập robots.txt cho WordPress, thương mại điện tử hoặc trang tùy chỉnh
- Kiểm tra và xác nhận quy tắc robots.txt hiện có với URL cụ thể