Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Vendi-RAG: Adaptively Trading-Off Diversity And Quality Significantly Improves Retrieval Augmented Generation With LLMs

Created by
  • Haebom

저자

Mohammad Reza Rezaei, Adji Bousso Dieng

개요

본 논문은 Retrieval-augmented generation (RAG) 시스템의 한계점인 중복성 문제와 다중 소스 정보 연결의 어려움을 해결하기 위해, 반복적인 과정을 통해 검색 다양성과 답변 질을 동시에 최적화하는 Vendi-RAG 프레임워크를 제안합니다. Vendi-RAG는 유연한 유사도 기반 다양성 지표인 Vendi Score (VS)를 활용하여 문서 검색의 의미적 다양성을 높이고, LLM 판단자를 통해 후보 답변을 평가하여 검색 과정에서 관련성과 다양성을 균형 있게 고려합니다. HotpotQA, MuSiQue, 2WikiMultiHopQA 데이터셋을 이용한 실험 결과, 기존 단일 단계 및 다단계 RAG 접근 방식에 비해 유의미한 정확도 향상을 보였으며, 특히 다중 호핑 추론 작업에서 효과적임을 입증했습니다. 다양한 LLM 백본(GPT-3.5, GPT-4, GPT-4o-mini)에서도 일관된 성능 향상을 보여 모델 독립적인 장점을 확인했습니다.

시사점, 한계점

시사점:
다중 호핑 질의응답(QA) 문제에서 RAG 시스템의 정확도를 향상시키는 새로운 프레임워크 Vendi-RAG 제시
Vendi Score (VS)를 활용하여 검색 다양성을 효과적으로 제어
LLM 판단자를 통해 관련성과 다양성 간의 균형을 조절하여 최적의 답변 도출
다양한 LLM 모델에 적용 가능한 모델 독립적인 프레임워크
검색 문서 수 증가에 따라 성능 향상 효과가 더욱 커짐
한계점:
Vendi Score의 매개변수 조정에 대한 추가적인 연구 필요
LLM 판단자의 성능이 전체 시스템 성능에 영향을 미칠 수 있음
특정 데이터셋에 최적화된 매개변수가 다른 데이터셋에서는 성능 저하를 야기할 가능성 존재
계산 비용이 기존 RAG 시스템보다 증가할 수 있음
👍