Optimizing Multi-Hop Document Retrieval Through Intermediate Representations
Created by
Haebom
저자
Jiaen Lin, Jingyu Liu, Yingbo Liu
개요
본 논문은 복잡한 질의, 특히 다단계 질문에 대한 답변에서 어려움을 겪는 검색 증강 생성(RAG) 모델의 한계를 해결하는 새로운 방법인 계층별 RAG(L-RAG)를 제안합니다. 기존의 다단계 질문 답변 방법들은 반복적인 내부 질의 생성 및 외부 문서 검색으로 인해 계산 비용이 많이 드는 문제점을 가지고 있습니다. 본 논문에서는 대규모 언어 모델(LLM)의 계층별 추론 과정에서 추출, 처리, 그리고 이후 추출의 세 단계 정보 처리 패턴을 확인하고, 중간 계층의 표현이 다른 계층보다 더 풍부한 정보를 포함한다는 점을 발견했습니다. 이러한 통찰력을 바탕으로 L-RAG는 새로운 내부 질의 생성 대신 중간 계층의 표현을 활용하여 다음 단계 정보를 담은 외부 지식을 검색합니다. L-RAG는 기존의 다단계 접근 방식과 비슷한 성능을 달성하면서 표준 RAG와 유사한 추론 오버헤드를 유지합니다. MuSiQue, HotpotQA, 2WikiMultiHopQA 등의 개방형 도메인 다단계 질문 답변 데이터셋에서 기존 RAG 방법보다 우수한 성능을 보입니다. 코드는 https://anonymous.4open.science/r/L-RAG-ADD5/ 에서 확인할 수 있습니다.
