Các AI assistants hàng đầu đã trình bày sai hoặc xử lý sai nội dung tin tức trong gần một nửa số câu trả lời được đánh giá, theo một Case study của European Broadcasting Union (EBU) và BBC.
Nghiên cứu này đã đánh giá các phiên bản miễn phí/dành cho người tiêu dùng của ChatGPT, Copilot, Gemini và Perplexity, trả lời các câu hỏi tin tức bằng 14 ngôn ngữ trên 22 tổ chức truyền thông công cộng ở 18 quốc gia.
EBU cho biết trong thông báo công bố kết quả nghiên cứu:
“Sự bóp méo có hệ thống của AI đối với tin tức là nhất quán trên các ngôn ngữ và khu vực.”
Case Study phát hiện ra điều gì???
Tổng cộng, 2.709 câu trả lời cốt lõi đã được đánh giá, với các ví dụ định tính cũng được rút ra từ các câu hỏi tùy chỉnh.
Nhìn chung,
45% câu trả lời có chứa ít nhất một vấn đề nghiêm trọng, và 81% có một số vấn đề nào đó. Việc trích dẫn nguồn là lĩnh vực có vấn đề phổ biến nhất, ảnh hưởng đến 31% câu trả lời ở mức độ nghiêm trọng.
Hiệu suất của từng Assistant
Hiệu suất thay đổi theo từng nền tảng. Google Gemini cho thấy nhiều vấn đề nhất:
76% câu trả lời của nó chứa các vấn đề nghiêm trọng, chủ yếu do 72% có vấn đề về trích dẫn nguồn.
Các assistant khác ở mức hoặc dưới
37% đối với các vấn đề lớn tổng thể và dưới 25% đối với các vấn đề trích dẫn nguồn.
Ví dụ về lỗi này
Các vấn đề về độ chính xác bao gồm thông tin lỗi thời hoặc không chính xác.
Chẳng hạn, một số assistants đã xác định Giáo hoàng Francis là Giáo hoàng hiện tại vào cuối tháng 5, mặc dù ngài đã qua đời vào tháng 4, và Gemini đã mô tả sai các thay đổi về luật liên quan đến vape dùng một lần.
Một vài ghi chú ở Case study này
Những người tham gia đã tạo ra các câu trả lời từ ngày 24 tháng 5 đến ngày 10 tháng 6, sử dụng một bộ 30 câu hỏi cốt lõi được chia sẻ cộng với các câu hỏi địa phương tùy chọn.
Study tập trung vào các phiên bản miễn phí/dành cho người tiêu dùng của mỗi assistant để phản ánh việc sử dụng thông thường.
Nhiều tổ chức có các rào cản kỹ thuật thường hạn chế quyền truy cập của assistant vào nội dung của họ. Những rào cản đó đã được gỡ bỏ trong giai đoạn tạo phản hồi và được khôi phục sau đó.
Tại sao Case Study này quan trọng?
Khi sử dụng AI assistants để nghiên cứu hoặc lập kế hoạch content, những phát hiện này củng cố nhu cầu xác minh các tuyên bố so với các nguồn gốc.
Là một publisher, điều này có thể ảnh hưởng đến cách content của bạn được thể hiện trong các câu trả lời của AI. Tỷ lệ lỗi cao làm tăng nguy cơ các tuyên bố bị gán sai hoặc không được hỗ trợ xuất hiện trong các bản tóm tắt trích dẫn content của bạn.
EBU và BBC đã công bố một News Integrity in AI Assistants Toolkit cùng với report, cung cấp hướng dẫn cho các công ty công nghệ, tổ chức truyền thông và các nhà nghiên cứu.
Reuters đưa tin quan điểm của EBU rằng sự phụ thuộc ngày càng tăng vào các assistants để lấy tin tức có thể làm suy yếu niềm tin của công chúng.
Như Giám đốc Truyền thông EBU, Jean Philip De Tender, đã nói:
“Khi mọi người không biết nên tin tưởng điều gì, cuối cùng họ sẽ không tin tưởng gì cả, và điều đó có thể ngăn cản sự tham gia dân chủ.”
Source: [1].
© Cre: NGHIỆN SEO (Team biên tập).