Cập nhật: Đã thêm link tài liệu, hình ảnh và một số thông tin phân tích chi tiết hơn trong bài, vì một số bạn comment rất mất lịch sự vào bài viết của mình (không rõ ý nghĩa mấy câu comennt đó giúp được gì cho cộng đồng không, kk)
(Mục đích ngăn không cho Ahrefs thu thập dữ liệu website của bạn, từ khóa & backlink, để che dấu và đánh lừa đối thủ)
Hướng dẫn này nghe có vẻ hơi lạ phải không anh em? Nhưng thật ra nó có mục đích cả, và đôi khi còn rất hữu ích và cần thiết (nếu anh em thấy phù hợp thì áp dụng).
1. CÁCH CHẶN BOT SEMRUSH & AHREFS
Bước 1:
Xác định User-agent của Ahrefs và Semrush: Trước tiên, bạn cần xác định user-agent của bot Ahrefs và bot Semrush. User-agent này có thể được tìm thấy trong các tài liệu hỗ trợ của Ahrefs và Semrush hoặc thông qua việc kiểm tra log truy cập của website của bạn để xem user-agent của bot Ahrefs và bot Semrush.
Bước 2:
Chỉnh sửa robots.txt: Sau khi bạn biết user-agent của Ahrefs và Semrush, bạn có thể chỉnh sửa tệp robots.txt trên trang web của mình để chặn bot đó. Ví dụ, nếu user-agent của Ahrefs là “AhrefsBot” và Semrus là"SemrushBot", bạn có thể thêm 2 dòng sau vào tệp robots.txt:
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
Điều này có nghĩa: mọi URL trên trang web của bạn không nên được truy cập bởi bot của Ahrefs và Semrush.
Lưu ý: để chỉnh sửa robots.txt, bạn cần tài khoản hosting. Nếu bạn dùng WordPress thì có thể chỉnh sửa trực tiếp ở Rank Math SEO hoặc Yoast SEO, hoặc bạn có thể cài plugin riêng.
Bước 3:
Kiểm tra lại và lưu tệp robots.txt: Trước khi bạn lưu và triển khai thay đổi, hãy đảm bảo rằng bạn đã kiểm tra kỹ lại tệp robots.txt để tránh lỗi và sau đó lưu lại.
Như vậy việc chặn bot của Ahrefs và Semrush đã xong, khi cần mở chặn bạn chỉ việc vào chỉnh sửa robots.txt và xóa mấy dòng ở trên rồi lưu lại.
Lưu ý: Ahrefs cũng cho hay “Xin lưu ý rằng AhrefsBot có thể cần chút thời gian để chọn những thay đổi trong tệp robots.txt của bạn. Việc này sẽ được thực hiện trước mỗi lần thu thập dữ liệu theo lịch trình tiếp theo.”
Do đó, để mọi dấu hiệu nhìn thấy được sự giảm sút thì cần thời gian, không phải bạn chặn xong thì mọi thứ sẽ hoạt động ngay, Ahrefs dựa trên số liệu thu thập từ nhiều nguồn, đưa về phân tích và áp theo thuật toán riêng của họ sau đó mới update kết quả (đó cũng là lý do mà nhiều anh em sẽ thấy nó không hoạt động hoặc chỉ giảm nhẹ)
Nếu như Google có các bản update thì Ahrefs cũng vậy, trong 2 năm qua họ đã thay đổi không dưới 3 lần về thuật toán thu thập keywords data (sau mỗi đợt như vậy có thể sẽ làm cho mọi chỉ số tăng đột biến hoặc giảm đột xuất)
2. CƠ CHẾ THU THẬP CỦA AHREFSBOT
Ahrefsbot thu thập thông tin từ nhiều nguồn không phải chỉ mỗi SERP, và cũng không chỉ mỗi Google. "Ahrefsbot có thể thu thập 5-8 tỷ trang web/ ngày và cập nhật sau mỗi 15-30p)
Khi chặn Ahrefsbot qua robots.txt sẽ không ngăn 100% việc Ahrefs thu thập thông tin, nhưng sẽ hạn chế cho tất cả các phiên thu thập trực tiếp.
Ngoài ra Ahrefs có thể sử dụng các phương thức khác để thu thập dữ liệu, chẳng hạn như:
1 - Thu thập dữ liệu từ các trang web khác: Ahrefs có thể thu thập dữ liệu backlink từ các trang web khác có liên kết đến trang web của bạn.
2 - Sử dụng các công cụ khác: Ahrefs có thể sử dụng các công cụ khác ngoài AhrefsBot để thu thập dữ liệu: Bing, Google, YEP,…
Lưu ý: mọi dữ liệu trên Ahrefs đều theo công thức của Ahrefs và dựa trên dữ liệu mà Ahrefsbot thu thập, vì vậy các bạn đừng hỏi vì sao nó không chính xác so với thực tế (cái này mấy bạn mới hay hỏi chứ bạn nào làm lâu biết rõ)
Chặn Ahrefsbot có ảnh hưởng đến SEO hay không?
Việc chặn Ahrefsbot không ảnh hưởng đến khả năng thu thập dữ liệu của Googlebot, do đó chẳng ảnh hưởng đến thứ hạng SEO của trang web bạn cả.
Tuy nhiên, việc chặn Ahrefsbot có thể ảnh hưởng gián tiếp đến SEO nếu bạn có thói quen sử dụng Ahrefs để theo dõi và phân tích dữ liệu SEO cho trang web của bạn. Việc không có dữ liệu từ Ahrefs có thể khiến bạn gặp khó khăn trong việc theo dõi hiệu quả SEO và đưa ra chiến lược SEO phù hợp.
3. VÌ SAO PHẢI CHẶN BOT CỦA AHREFS VÀ SEMRUSH
Cái này thú vị nè. Có nhiều trường hợp áp dụng để chặn BOT của Ahrefs và Semrush (và việc chặn này không hề ảnh hưởng đến SEO, vì cả 2 công cụ trên chẳng liên quan hay tác động gì tới Google cả)
Những gạch đầu dòng về việc chặn BOT của Ahrefs và Semrush như sau:
-
Ngăn không cho đối thủ soi được website của mình đang trong tình trạng xếp hạng như nào (vì hiện nay anh em SEO thường dùng 2 công cụ trên để spy đối thủ).
-
Ngăn không cho đối thủ soi được mình đi những hệ thống backlink nào, và đi ra sao (dù rằng có nhiều công cụ để soi backlink 1 website, nhưng anh em SEO vẫn thói quen dùng 2 công cụ trên để check).
-
Không cho những người khác biết chính xác hiện trạng SEO của website mình đang như thế nào (giống như khi đánh trận mà chẳng biết phía địch có bao nhiêu quân, mạnh hay yếu, lương thảo nhiều hay ít… Thì sẽ khó quyết định tiến công hay phòng thủ).
-
Khi website đang có dấu hiệu lên TOP mạnh, vào chặn luôn BOT của Ahrefs và Semrush khiến cho các chỉ số trên 2 công cụ này cắm đầu ! mấy ông đối thủ mừng thầm vì nghĩ web mình bị phạt (họ ung dung tự tại thì mình thẳng tiến, kiểu như chuyện rùa và thỏ).
-
Khi web bạn đang SEO lên, nếu chặn BOT Ahrefs và Semrush thì sẽ bớt bị đối thủ nhòm ngó và đưa bạn vào danh sách đáng để theo dõi, nói cách khác thì để cho mấy đơn vị khác nghĩ: thằng này lẹt đẹt không chấp !
-
Chặn BOT của Ahrefs và Semrush, nếu là SEO Agency thì sẽ làm cho mấy anh em cùng ngành SEO có biết dự án mình đang làm cũng sẽ tỏ ra “coi thường” và bớt soi mói, bớt ganh tị… Đại loại kiểu: “dự án bên ông A làm thấy đang cắm đầu, tụt không phanh”, “cái dự án kia bên ông B làm thấy chẳng lên cái gì cả”. Ở đời đôi khi bạn làm được nhiều dự án thành công, sẽ dẽ bị ganh tị và chơi xấu.
Và nhiều lý do khác. Còn về việc báo cáo khách hàng thì đơn giản rồi, bạn chỉ cần show chỉ số Google Analytics, Google Search Console và vị trí TOP từ khóa ra là khách hàng hiểu thôi (SEO trên Google chứ có SEO trên Ahrefs với Semrush đâu)
Cái này chia sẻ lúc đang vui, ai thấy thích và hữu ích thì áp dụng (anh em nào hay có sở thích chụp ảnh chỉ số xanh lét và biểu đồ dựng đứng trên 2 công cụ này để đăng Facebook thì đừng nên dùng)
P/s: SEO là việc giữa bên làm SEO và bên thuê SEO, còn thiên hạ nhìn nhận sao không quan trọng ! những chỉ số tốt đẹp bạn nhìn thấy trên Facebook về một dự án nào đó, đôi khi chỉ là người ta cố tình cho bạn nhìn thấy vì một mục đích riêng nào đó phía sau của họ, còn những gì bạn tự tìm hiểu thấy cũng có thể họ cố tình cho bạn thấy ! vậy nên mọi thứ chỉ nên dừng lại ở cái gọi là THAM KHẢO
-
Tài liệu AhrefsBot: https://ahrefs.com/seo/glossary/ahrefsbot
-
Thông tin phiên bản AhrefsBot: https://ahrefs.com/robot
-
Hướng dẫn chặn Ahrefsbot: https://help.ahrefs.com/en/articles/78158-how-do-i-control-your-bot-s-crawling-behaviour
Ghi chú: mọi chia sẻ của mình dựa trên kiến thức, kinh nghiệm bản thân và tài liệu cụ thể, tất cả chia sẻ vô tư, thoải mái không có bất kỳ đụng chạm tới ai hay PR lợi ích bản thân, nên lần nữa mong các bạn comment trên tinh thần lịch sự, xây dựng giá trị, đúng với quy tắc của nhóm.
Hình ảnh minh họa cho anh em dễ hình dung như bên dưới!
Author: Trịnh Bảo - Nghiện SEO