Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

RAGtifier: Đánh giá các phương pháp tạo RAG của các hệ thống RAG hiện đại cho cuộc thi SIGIR LiveRAG

Created by
  • Haebom

Tác giả

Tim Cofala, Oleh Astappiev, William Xion, Hailay Teklehaymanot

Phác thảo

Bài báo này báo cáo kết quả của mô hình Tạo dữ liệu Tăng cường Truy xuất (RAG) được gửi đến Thử thách SIGIR LiveRAG 2025. Sử dụng các cặp QA của DataMorgana, chúng tôi đã khám phá các giải pháp RAG tối đa hóa độ chính xác bằng cách sử dụng LLM với tối đa 10 tham số và Falcon-3-10B. Sau khi thử nghiệm với nhiều tổ hợp bộ truy xuất khác nhau và các giải pháp RAG tận dụng chỉ số OpenSearch và Pinecone, chúng tôi đã chọn InstructRAG, sử dụng bộ truy xuất Pinecone và bộ xếp hạng lại BGE, làm giải pháp cuối cùng. Giải pháp này đạt điểm chính xác là 1,13 và điểm trung thực là 0,55 trong đánh giá không phải của con người, xếp hạng thứ ba chung cuộc.

Takeaways, Limitations

Takeaways: Chúng tôi chứng minh rằng hệ thống RAG dựa trên InstructRAG sử dụng bộ thu hồi Pinecone và bộ xếp hạng lại BGE hoạt động tốt trong thử thách LiveRAG. Chúng tôi xác nhận hiệu quả của các chiến lược tối ưu hóa bằng cách khám phá các kết hợp bộ thu hồi và giải pháp RAG khác nhau.
Limitations: Do đánh giá hiệu suất này được thực hiện trong điều kiện khó khăn (ví dụ: ràng buộc LLM 10B với tham số, hạn chế sử dụng Falcon-3-10B), cần xác thực thêm hiệu suất tổng quát hóa. Việc phụ thuộc vào đánh giá phi con người có thể là một hạn chế. Cần nghiên cứu thêm để đạt được độ chính xác và độ trung thực cao hơn.
👍