Nhắc đến SEO kỹ thuật, thì việc kiểm tra và tối ưu hóa file robots.txt là một bước rất quan trọng. Nếu robots.txt gặp sự cố hoặc cấu hình sai, có thể gây ra những vấn đề SEO nghiêm trọng, tác động tiêu cực đến thứ hạng và lượng truy cập website của bạn. Trong bài đăng hôm nay, sẽ hướng dẫn đến bạn chi tiết cách sử dụng Robots.txt tùy chỉnh trên trang Blogspot đúng chuẩn nhất. Đây được xem là phương pháp hiệu quả giúp cho bài viết trên blog của bạn có thứ hạng cao hơn trong công cụ tìm kiếm.
Mục Lục
Bạn biết gì về Robots.txt?
Robots.txt là một tệp bao gồm các lệnh điều hướng quá trình thu thập dữ liệu của các công cụ tìm kiếm. Nó giúp cho trình thu thập dữ liệu và lập chỉ mục (index) của các công cụ tìm kiếm biết được là có thể hay không thể yêu cầu thu thập dữ liệu từ những trang hoặc tệp nào trên trang web của bạn. Như đã viết ở trên thì robots.txt sẽ rất tốt cho SEO khi bạn ngăn chặn được một số liên kết không mong muốn index trên công cụ tìm kiếm. Thêm robots.txt là tùy chọn không bắt buộc, thế nhưng nó lại khá cần thiết là vì:
- Chặn index các tài nguyên không cần thiết (ví dụ: video, file PDF,…)
- Chặn index trang không cần thiết.
- Chèn Sitemap
- Tối ưu quá trình crawl: Google luôn có một mức thu thập dữ liệu tối đa cho một website trong một khoảng thời gian nhất định. Vì thế, chúng ta cần index trang cần thiết và loại bỏ các trang cần thiết để tiết kiệm cho quá trình crawl này.
Chức năng các lệnh cơ bản của robots.txt
| Câu lệnh | Chức năng |
|---|---|
| User-agent | Bắt buộc, ít nhất một lệnh trong mỗi nhóm. Đây là tên của trình thu thập dữ liệu của công cụ tìm kiếm. Ví dụ như Googlebot. |
| Allow | Cú pháp cho phép các robot của công cụ tìm kiếm thu thập dữ liệu. |
| Disallow | Cú pháp không cho phép các robot của công cụ tìm kiếm thu thập dữ liệu. |
| Crawl-delay | Thông số này xác định thời gian (tính bằng giây) bots phải đợi trước khi chuyển sang phần tiếp theo (cú pháp này ít được sử dụng). |
| Sitemap | Khai báo vị trí sitemap của website. |
Chỉnh sửa robots.txt cho Blogspot bằng 2 bước nhanh chóng
- Bước 1: Vào trang quản lí blog > Cài đặt.
- Bước 2: Kéo xuống dưới và tìm đến Trình thu thập thông tin và lập chỉ mục. Bật robots.txt tùy chỉnh và nhấp bên dưới để chỉnh sửa.
Một cấu hình robots.txt chuẩn cho Blogspot của bạn
Dưới đây là một cấu hình robots.txt chuẩn dành cho những bạn đang dùng Blogspot:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://kynguyencongnghe.com/feeds/posts/default?orderby=UPDATED
Lưu ý: Thay www.fayedark.com thành tên miền của bạn và nếu blog của bạn có hơn 500 bài viết thì đổi 500 thành số lớn hơn nha.
Giải thích về cấu hình robots.txt
- Đầu tiên là User-agent: *, cú pháp này cho phép mọi bot vào thu thập dữ liệu như bot của Google, Bing,… và xác định các quy tắc được áp dụng bên dưới.
- Allow: /, dòng này nghĩa là cho phép index tất cả các tiền tố url.
- Mình muốn Google không thu thập vào các trang không cần thiết mà các bot khác vẫn thu thập được. Nên mình viết lệnh riêng cho Googlebot bằng cách thêm dòng User-agent: Googlebot.
- Cho phép Thu thập dữ liệu của trang nhãn: Allow: /search/label/.
- Chặn thu thập những trang tìm kiếm có thể không có nội dung (Disallow: /search). Nhưng vẫn cho phép thu thập trang bài viết (Allow: /search(/)?$).
- Disallow: archive.html$ là chặn thu thập dữ liệu trang web có đuôi archive.html. Mình dùng kí tự ($) để url khớp ở cuối.
- Cuối cùng là Sitemap: https… đánh dấu địa chỉ sơ đồ trang web của blog.
9 điều lưu ý khi sử dụng tùy chỉnh tối ưu robots.txt cho Blogspot
- Phân biệt chữ hoa, chữ thường.
- Không được viết thừa hoặc thiếu khoảng trắng.
- Mỗi lệnh viết trên một dòng.
- Không tự ý thêm các ký tự đặc biệt dễ gây nhầm lẫn cho bot.
- Hết sức thận trọng khi sử dụng khi bạn chưa hiểu thường tận.
- Kiểm tra thường xuyên file robots.txt.
- Thuộc nhóm bài tối ưu chuẩn SEO Blogspot nâng cao.
- Các thành phần chi tiết của công cụ tìm kiếm rất phức tạp bản thân tôi cũng tìm hiểu vừa đủ để phục vụ cho các hoạt động không phải quá chuyên sâu vì điều đó ảnh hưởng đến tổng thể kết quả và bản thân Google cũng có sự điều chỉnh thay đổi nên mục tiêu chia sẻ và nghiên cứu của tôi là vừa đủ để sử dụng không quá đi sâu tiểu tiết.
- Nếu bạn đầu bạn mới làm đừng can thiệp quá sâu vào vùng này vì bản thân file robots.txt mặc định của Blogspot đã rất rất tốt bạn chỉ cần thực hành các phương pháp tối ưu chuẩn SEO căn bản cho Blogspot đã rất hiệu quả.
Vậy là bạn đã có thể tạo và chỉnh sửa file robots.txt để tối ưu SEO cho Blogspot rồi. Nếu có thắc mắc gì hãy để lại bình luận dưới bài viết nhé. Hi vọng bài viết sẽ giúp ích cho bạn.