Hướng dẫn cấu hình Robots.txt trên blog Typecho

Robots.txt là gì? Vai trò và cách cấu hình cho Typecho

Robots.txt là một tệp văn bản thuần (plain text) được đặt tại thư mục gốc của website, bắt buộc đặt tên chữ thường là robots.txt và sử dụng mã hóa ASCII.

Chức năng cốt lõi của robots.txt là khai báo các quy tắc nhằm hướng dẫn trình thu thập dữ liệu của công cụ tìm kiếm (ví dụ: Googlebot, Baiduspider…) xác định những khu vực được phép hoặc không được phép thu thập trên website.

Vai trò của robots.txt

• Cho phép truy cập: Mở quyền thu thập các nội dung chất lượng, giúp tăng hiệu quả lập chỉ mục và tối ưu SEO.
• Ngăn chặn thu thập dữ liệu: Bảo vệ các khu vực nhạy cảm như trang quản trị (/admin/), thư mục cài đặt hoặc tệp tạm thời (/tmp/).
• Tối ưu tài nguyên: Hạn chế việc thu thập các trang không cần thiết, từ đó tiết kiệm băng thông và tài nguyên máy chủ.

Cấu trúc cú pháp cơ bản của robots.txt

User-agent: [Tên công cụ tìm kiếm]
Disallow: [Đường dẫn bị chặn]
Allow: [Đường dẫn được phép]
Sitemap: [Địa chỉ sitemap]

Giải thích:

• User-agent: Chỉ định trình thu thập dữ liệu áp dụng quy tắc (ký tự * đại diện cho tất cả công cụ tìm kiếm).
• Quy tắc đường dẫn:
  • Hỗ trợ đường dẫn tuyệt đối (ví dụ: /admin/)
  • Hỗ trợ ký tự đại diện:
    • * dùng để khớp với mọi ký tự
    • $ dùng để xác định điểm kết thúc của đường dẫn

Cấu hình robots.txt cho Typecho

Để thiết lập robots.txt cho website sử dụng Typecho, bạn thực hiện các bước sau:

1. Tạo một tệp văn bản mới trong thư mục gốc của website.
2. Đặt tên tệp là robots.txt (toàn bộ chữ thường).
3. Dán nội dung cấu hình bên dưới vào tệp:

User-agent: *
Disallow: /admin/
Disallow: /install/
Sitemap: https://tendomaincuaban/sitemap.xml

Lưu ý: Nếu website của bạn chưa cài đặt plugin sitemap, bạn có thể xóa dòng Sitemap mà không ảnh hưởng đến các quy tắc khác.

Ý nghĩa cấu hình trên

• Áp dụng cho tất cả công cụ tìm kiếm.
• Ngăn không cho thu thập dữ liệu tại:
  • Thư mục quản trị (/admin/)
  • Thư mục cài đặt hệ thống (/install/)
• Khai báo địa chỉ sitemap, giúp công cụ tìm kiếm thu thập nội dung website nhanh và đầy đủ hơn.