Rethinking All Evidence: Enhancing Trustworthy Retrieval-Augmented Generation via Conflict-Driven Summarization
Created by
Haebom
저자
Juan Chen, Baolong Bi, Wei Zhang, Jingyan Sui, Xiaofei Zhu, Yuanzhuo Wang, Lingrui Mei, Shenghua Liu
개요
본 논문은 Retrieval-Augmented Generation (RAG) 시스템의 신뢰성을 향상시키는 새로운 프레임워크인 CARE-RAG를 제안합니다. RAG는 LLM의 내부 지식과 외부 검색 콘텐츠를 통합하지만, 내부적 모순이나 노이즈가 있는 검색 콘텐츠로 인해 지식 충돌이 발생하여 생성 신뢰성이 저하될 수 있습니다. CARE-RAG는 LLM이 응답 생성 전에 검색된 콘텐츠와 내부 지식을 포함한 모든 증거를 재고려해야 한다는 점에 착안하여 개발되었습니다. CARE-RAG는 매개변수 인식 증거와 맥락 인식 증거를 도출하고, 3B LLaMA3.2 모델을 증류하여 충돌 기반 요약을 수행하여 여러 소스에 걸쳐 신뢰할 수 있는 종합을 가능하게 합니다. 또한, 벤치마크 답변의 오류를 수정하기 위한 QA Repair 단계를 도입하여 평가의 무결성을 더욱 보장합니다. 수정된 QA 데이터셋과 검색 데이터에 대한 실험 결과, CARE-RAG는 특히 노이즈가 많거나 상충되는 증거가 있는 시나리오에서 강력한 RAG 기준 모델보다 성능이 우수함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
RAG 시스템의 신뢰성 문제 해결을 위한 새로운 접근 방식 제시
◦
LLM의 내부 지식과 외부 검색 콘텐츠의 충돌을 효과적으로 해결
◦
충돌 기반 요약을 통해 다양한 소스의 정보를 신뢰할 수 있게 통합
◦
QA Repair 단계를 통해 평가의 무결성 향상
◦
노이즈가 많은 데이터에서도 우수한 성능을 보임
•
한계점:
◦
3B LLaMA3.2 모델 증류에 대한 자세한 설명 부족
◦
QA Repair 단계의 구체적인 방법론에 대한 추가적인 정보 필요
◦
특정 종류의 데이터셋에 대한 성능 평가 결과만 제시, 일반화 가능성에 대한 추가 연구 필요
