Cách tạo tệp Robots.txt tùy chỉnh hoàn hảo cho Blogger và cải thiện SEO 2021

Tệp Robots.txt kiểm soát công cụ tìm kiếm thu thập thông tin cho một trang web. Điều đó có nghĩa là nó đóng một vai trò quan trọng trong việc tối ưu hóa công cụ tìm kiếm của blog Blogger. Trong bài viết này, chúng tôi sẽ hiểu cách triển khai tốt nhất của tệp robots.txt trong blog Blogger.

Chức năng của tệp robots.txt là gì?

Với sự trợ giúp của tệp robots.txt, chúng tôi cho công cụ tìm kiếm biết về các trang nên và không nên thu thập thông tin. Do đó, nó cho phép chúng tôi kiểm soát hoạt động của các bot công cụ tìm kiếm.

tạo blog robot.txt tùy chỉnh trên Blogger
Blogger robots.txt để SEO tốt nhất
Trong tệp robots.txt, chúng tôi sử dụng hàm user-agent, allow, disallow, sitemap để khai báo các bot của công cụ tìm kiếm, các trang được phép thu thập thông tin, các trang không được phép thu thập thông tin.

Thông thường, chúng tôi sử dụng các lệnh cho tất cả các chương trình thu thập thông tin của công cụ tìm kiếm để lập chỉ mục các trang trên toàn bộ web. Tuy nhiên, để biết thêm chi tiết, bạn phải hiểu tệp robots.txt cho blog Blogger.

Tệp Robots.txt tốt nhất cho Blog Blogger

Để tạo tệp robots.txt tùy chỉnh hoàn hảo cho Blogger BlogSpot. Trước tiên, chúng ta phải hiểu chức năng của blog Blogger. Đối với điều này, hãy phân tích tệp robots.txt mặc định.

Theo mặc định, tệp này trông giống như:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml {codeBox}

 

  • Dòng đầu tiên của tệp này khai báo loại bot. Đây là Google AdSense, không được phép sử dụng. Điều đó có nghĩa là quảng cáo AdSense có thể xuất hiện trên toàn bộ trang web.
  • Tác nhân người dùng tiếp theo là *, có nghĩa là tất cả các bot của công cụ tìm kiếm không được phép vào / các trang tìm kiếm. Điều đó có nghĩa là không được phép đối với tất cả các trang tìm kiếm và nhãn (do cấu trúc URL giống nhau).
  • Và thẻ allow xác định rằng tất cả các trang khác ngoài phần không cho phép sẽ được phép thu thập thông tin.
  • Dòng tiếp theo chứa sơ đồ trang web bài đăng cho blog Blogger.
Đây là một tệp gần như hoàn hảo để kiểm soát các bot của công cụ tìm kiếm và cung cấp hướng dẫn cho các trang để thu thập thông tin hoặc không thu thập thông tin. Xin lưu ý, ở đây, những gì được phép thu thập thông tin sẽ không đảm bảo rằng các trang sẽ lập chỉ mục.

Nhưng tệp này cho phép lập chỉ mục các trang lưu trữ, điều này có thể gây ra sự cố nội dung trùng lặp. Điều đó có nghĩa là nó sẽ tạo ra rác cho blog Blogger.

Chúng tôi phải ngăn vấn đề nội dung trùng lặp này do phần lưu trữ gây ra. Điều đó có thể đạt được bằng cách ngăn các bot thu thập dữ liệu phần lưu trữ. Đối với điều này, chúng tôi phải áp dụng quy tắc Không cho phép / 20 * vào tệp robots.txt. Nhưng quy tắc này sẽ ngừng thu thập thông tin của các trang. Vì vậy, để tránh điều này, chúng tôi phải áp dụng quy tắc cho phép mới cho phần /*.html cho phép bot thu thập dữ liệu các bài đăng và trang.

Sơ đồ trang web mặc định bao gồm các bài đăng, không phải các trang. Vì vậy, bạn phải thêm sơ đồ trang web cho các trang nằm trong https://example.blogspot.com/sitemap-pages.xml hoặc https://www.example.com/sitemap-pages.xml cho miền tùy chỉnh.

Vì vậy, tệp robots.txt hoàn hảo mới cho blog Blogger sẽ trông như thế này.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml {codeBox}

Bạn phải thay thế www.example.com bằng miền Blogger hoặc tên miền tùy chỉnh của mình. Ví dụ: giả sử tên miền tùy chỉnh của bạn là www.iashindu.com, thì sơ đồ trang web sẽ có tại https://www.iashindu.com/sitemap.xml. Ngoài ra, bạn có thể kiểm tra robots.txt hiện tại tại https://www.example.com/robots.txt.


Tệp trên, cài đặt là thực hành tốt nhất cho robots.txt cũng như cho SEO. Điều này sẽ tiết kiệm ngân sách thu thập dữ liệu cho trang web và sẽ giúp blog Blogger xuất hiện trong kết quả tìm kiếm. Cùng với việc bạn phải viết nội dung thân thiện với SEO để xuất hiện trong kết quả tìm kiếm.
Để có cài đặt tốt nhất có thể cho robots.txt và thẻ meta rô bốt, hãy thử thẻ meta robot nâng cao và tệp robots.txt. Sự kết hợp này là một trong những phương pháp hay nhất để thúc đẩy SEO của blog Blogger .

Làm cách nào để chỉnh sửa tệp robots.txt của blog Blogger?


Tệp Robots.txt luôn nằm ở cấp cơ sở của bất kỳ trang web nào. Nhưng trong Blogger, không có quyền truy cập vào root, vậy làm thế nào để chỉnh sửa tệp robots.txt này?

Blogger cung cấp tất cả cài đặt tệp gốc trong cài đặt của nó như tệp robots.txt và ads.txt. Bạn phải đăng nhập vào tài khoản Blogger và chỉnh sửa tệp robots.txt.
Cách chỉnh sửa tệp robots.txt của Blogger
Cung cấp tệp robots.txt tùy chỉnh
  1. Đi tới Trang tổng quan Blogger và nhấp vào tùy chọn cài đặt,
  2. Cuộn xuống trình thu thập thông tin và phần lập chỉ mục,
  3. Bật robots.txt tùy chỉnh bằng nút chuyển đổi.
  4. Nhấp vào robots.txt tùy chỉnh , một cửa sổ sẽ mở ra, dán tệp robots.txt và cập nhật.
Sau khi cập nhật tệp robots.txt tùy chỉnh, hãy kiểm tra tệp đó bằng cách truy cập https://www.example.com/robots.txt, nơi www.example.com sẽ được thay thế bằng địa chỉ miền của bạn.

Nguyễn Hoàng

Thích viết, thích chia sẻ những gì mình biết. Mặc dù viết không hay. Nên không quan tâm người ta có thích đọc không? :D

3 Nhận xét

Mới hơn Cũ hơn