본 논문은 복잡한 멀티홉 질문에 대한 답변에서 어려움을 겪는 검색 증강 생성(RAG) 문제를 해결하기 위해 계층별 추론 과정에서 대규모 언어 모델(LLM)의 3단계 정보 처리 패턴(추출, 처리, 후속 추출)을 확인하고, 이를 바탕으로 새로운 접근 방식인 계층별 RAG(L-RAG)를 제안합니다. 기존의 반복적인 내부 질문 생성 및 외부 문서 검색 방식과 달리, L-RAG는 중간 계층의 표현을 활용하여 다음 단계 정보를 담은 외부 지식을 검색합니다. 실험 결과, L-RAG은 기존 RAG 방법보다 MuSiQue, HotpotQA, 2WikiMultiHopQA와 같은 개방형 도메인 멀티홉 질문 응답 데이터셋에서 성능이 우수하며, 다단계 접근 방식과 비슷한 성능을 유지하면서 표준 RAG와 유사한 추론 오버헤드를 유지합니다.
