Trong kỷ nguyên AI đang phát triển vũ bão, Google giới thiệu Google-Extended - một thuộc tính mới trong tệp robots.txt cho phép bạn kiểm soát cách gã khổng lồ tìm kiếm sử dụng nội dung trang web của bạn. Nhưng liệu bạn có nên sử dụng chỉ thị này? Nó thực sự chặn được những gì và liệu có ảnh hưởng đến thứ hạng SEO của bạn?
Google-Extended là gì và hoạt động ra sao?
Google-Extended là một user-agent đặc biệt bạn có thể thêm vào tệp robots.txt. Mục đích chính của nó là gửi yêu cầu đến Google, đề nghị không sử dụng nội dung trang web của bạn để huấn luyện các mô hình AI Gemini trong tương lai. Đồng thời, nó cũng ngăn Google dùng nội dung đó làm cơ sở (grounding) - tức là nguồn tham khảo để xác minh hoặc làm phong phú câu trả lời - trong các cuộc trò chuyện trên ứng dụng Gemini và các sản phẩm VertexAI có tích hợp tính năng “Grounding with Search”.
Để triển khai, bạn chỉ cần thêm các dòng sau vào robots.txt:
User-agent: Google-Extended
Disallow: /
Lệnh Disallow: / sẽ áp dụng cho toàn bộ trang web. Nếu chỉ muốn chặn một thư mục cụ thể, bạn có thể thay / bằng đường dẫn thư mục đó (ví dụ: Disallow: /blog/).
Những hiểu lầm phổ biến: Google-Extended KHÔNG chặn những gì?
Điều quan trọng cần nhấn mạnh là phạm vi hoạt động của Google-Extended có giới hạn. Việc sử dụng chỉ thị này KHÔNG ngăn chặn:
- AI Overviews (Tổng quan AI): Tính năng này được xem là một phần cốt lõi của Trải nghiệm Tìm kiếm Google.
Google-Extendedkhông có tác dụng ngăn nội dung của bạn xuất hiện trong các tổng quan do AI tạo ra này. - Thứ hạng trên Google Search: Google đã khẳng định
Google-Extendedkhông ảnh hưởng đến việc lập chỉ mục trang web và cũng không phải là tín hiệu xếp hạng. - Chế độ AI (AI Mode) trong Search Labs: Đây là một thử nghiệm Tìm kiếm dựa trên Gemini, nhưng nó tuân theo các quy tắc kiểm soát xem trước của Tìm kiếm (như
nosnippet), chứ không phảiGoogle-Extended. - Dữ liệu AI đã được huấn luyện: Chỉ thị này chỉ ngăn việc sử dụng nội dung cho các lần huấn luyện mới. Nó không thể xóa bỏ kiến thức về nội dung của bạn đã được tích hợp vào các mô hình Gemini hiện có.
Google-Extended vs Nosnippet: Chọn công cụ nào?
Nếu mục tiêu của bạn là ngăn nội dung xuất hiện trong AI Overviews hoặc các đoạn trích (snippets) thông thường trên kết quả tìm kiếm, bạn cần dùng thẻ meta nosnippet:
<meta name="robots" content="nosnippet">
Hoặc bạn có thể dùng max-snippet:0. Tuy nhiên, hãy lưu ý rằng nosnippet sẽ loại bỏ tất cả các loại đoạn trích hiển thị trên kết quả tìm kiếm, điều này có thể làm giảm đáng kể tỷ lệ nhấp (CTR) vào trang web của bạn. Google-Extended chỉ tập trung vào việc huấn luyện và làm cơ sở cho Gemini, không ảnh hưởng trực tiếp đến hiển thị Tìm kiếm.
So sánh: Google-Extended so với Nosnippet
| Ảnh hưởng… | Google-Extended | Nosnippet |
|---|---|---|
| Huấn luyện Gemini AI |  Bị chặn |
 Được phép* |
| Trích dẫn ứng dụng Gemini | Bị chặn |
Được phép* |
| AI Overviews (Tìm kiếm) | Được phép |
Bị chặn |
| Chế độ AI (Search Labs) | Được phép |
Bị chặn |
| Đoạn trích tìm kiếm thông thường | Được phép |
Bị chặn |
| Xếp hạng tìm kiếm | Không ảnh hưởng trực tiếp |  Rủi ro (không có đoạn trích) |
| Lưu ý: | Bản thân ‘nosnippet’ không chặn việc huấn luyện/làm cơ sở AI. ‘Google-Extended’ là quyền kiểm soát trực tiếp cho việc đó. | Bản thân ‘nosnippet’ không chặn việc huấn luyện/làm cơ sở AI. |
Ai nên cân nhắc sử dụng Google-Extended?
Việc chặn Google-Extended có thể hợp lý trong một số trường hợp cụ thể:
- Nội dung có bản quyền hoặc trả phí: Nếu bạn sở hữu nội dung độc quyền, được cấp phép hoặc yêu cầu trả phí để truy cập đầy đủ, bạn có thể không muốn AI tự do học hỏi từ đó.
- Bảo vệ Sở hữu Trí tuệ (IP): Các tác phẩm sáng tạo như bài luận, tiểu thuyết, nghiên cứu độc quyền có thể chứa đựng IP giá trị mà bạn muốn bảo vệ khỏi việc bị AI khai thác.
Nhiều nhà xuất bản tin tức lớn như: New York Times, CNN, BBC và các nền tảng như Facebook, Quora đã chọn chặn Google-Extended. Ngược lại, các trang như Wikipedia, CNET, Netflix lại không sử dụng thuộc tính chặn này.
Tóm lại
Chặn Google-Extended là một quyết định chiến lược. Bạn cần cân nhắc giữa việc bảo vệ nội dung khỏi việc bị sử dụng cho huấn luyện AI và làm cơ sở cho Gemini, với khả năng hiển thị tiềm năng (dù chỉ là dạng trích dẫn) trong các sản phẩm AI của Google. Nó không phải là “viên đạn bạc” để chặn hoàn toàn AI Overviews và không ảnh hưởng đến SEO trực tiếp. Hãy đánh giá kỹ lưỡng mục tiêu và loại nội dung trang web của bạn trước khi thêm chỉ thị này vào robots.txt.
Tài liệu bằng sáng chế tại đây: [1]
Author: #NghienSEO (Team biên tập)