Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Thế hệ tăng cường truy xuất với bằng chứng mâu thuẫn

Created by
  • Haebom

Tác giả

Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

Phác thảo

Bài báo này trình bày một phương pháp tiếp cận mới, đồng thời giải quyết các truy vấn người dùng mơ hồ, thông tin mâu thuẫn và thông tin không chính xác phát sinh khi tận dụng Thế hệ Tăng cường Truy xuất (RAG) để nâng cao tính hiện thực của các tác nhân Mô hình Ngôn ngữ Quy mô Lớn (LLM). Không giống như các nghiên cứu trước đây giải quyết từng vấn đề riêng lẻ, bài báo này đề xuất một tập dữ liệu mới, RAMDocs, mô phỏng các tình huống thực tế có chứa sự mơ hồ, thông tin sai lệch và nhiễu. Sau đó, chúng tôi trình bày MADAM-RAG, một phương pháp tiếp cận đa tác nhân giúp giải quyết sự mơ hồ và loại bỏ thông tin sai lệch và nhiễu thông qua các cuộc thảo luận nhiều vòng giữa các tác nhân LLM. Kết quả thử nghiệm chứng minh rằng MADAM-RAG vượt trội đáng kể so với các mô hình cơ sở RAG hiện có trên các tập dữ liệu AmbigDocs và FaithEval, nhưng chứng minh rằng vẫn còn chỗ để cải thiện, đặc biệt là khi sự mất cân bằng giữa bằng chứng và thông tin sai lệch là nghiêm trọng.

Takeaways, Limitations

Takeaways:
Chúng tôi xin giới thiệu RAMDocs, một tập dữ liệu mới dùng để đánh giá các hệ thống RAG thực tế, đồng thời xem xét tính mơ hồ, thông tin sai lệch và nhiễu.
Chúng tôi đề xuất kỹ thuật MADAM-RAG để xử lý thông tin xung đột và tăng tính thực tế thông qua thảo luận giữa nhiều tác nhân.
Thực nghiệm chứng minh cải thiện hiệu suất so với các mô hình cơ sở RAG hiện có trên các tập dữ liệu AmbigDocs và FaithEval.
Limitations:
Hiệu suất tăng lên của MADAM-RAG bị hạn chế khi tập dữ liệu RAMDocs có sự mất cân bằng cao giữa bằng chứng và thông tin sai lệch.
Hiệu suất của MADAM-RAG vẫn còn có thể cải thiện.
👍