본 논문은 Retrieval-Augmented Generation (RAG) 기반의 오픈 도메인 질의응답(ODQA)에서 대규모 언어 모델(LLM)의 성능 향상을 위한 새로운 프레임워크인 Evidentiality-guided RAG (ECoRAG)를 제안합니다. 기존의 압축 방법들이 비핵심 정보 필터링에 초점을 맞추지 않아 성능 저하를 야기하는 문제점을 해결하기 위해, ECoRAG는 증거성(evidentiality)에 기반한 문서 압축을 통해 LLM의 질의응답 성능을 향상시킵니다. 정확한 증거에 기반한 답변 생성을 보장하고, 충분한 증거가 없는 경우 추가적인 정보 검색을 수행하는 과정을 포함합니다. 실험 결과, ECoRAG는 기존 압축 방법들을 능가하는 성능 향상과 함께 지연 시간 감소 및 토큰 사용량 최소화를 통해 높은 비용 효율성을 보여줍니다. 코드는 Github에서 공개됩니다.
