본 논문은 실시간 정보 및 특정 도메인 문제 처리에서 대규모 언어 모델(LLM)이 직면하는 과제를 해결하기 위한 기본 패러다임으로 자리 잡은 검색 증강 생성(RAG)에 대해 다룹니다. 기존 RAG 시스템은 주로 LLM 자체의 문맥 내 학습(ICL) 기능에 의존하지만, RAG 생성 모델에 필요한 특정 기능에 대한 심층적인 연구는 부족하여 일관성 없는 문서 품질 및 검색 시스템의 결함이라는 문제점을 야기합니다. RAG 생성 모델을 미세 조정하는 제한적인 연구조차도 RAG 작업에 대한 세분화된 초점이나 사고 연쇄 과정의 심층적인 활용이 부족합니다. 이를 해결하기 위해 본 논문에서는 RAG 모델이 (1) 필터링: 관련 정보 선택 능력, (2) 결합: 단락 간 의미 정보 결합 능력, (3) RAG 특정 추론: 내부 지식을 사용하여 외부 지식을 추가로 처리하는 능력 등 세 가지 점진적인 계층적 능력을 가져야 한다고 제안합니다. 따라서 "답변하기 전에 생각하기" 전략을 통합하는 새로운 RAG 지시 미세 조정 방법인 계층적 사고 지시 조정 검색 증강 생성(HIRAG)을 제시합니다. 이 방법은 다단계 점진적 사고 연쇄를 활용하여 모델의 오픈북 시험 능력을 향상시킵니다. 실험 결과, HIRAG 훈련 전략은 RGB, PopQA, MuSiQue, HotpotQA 및 PubmedQA와 같은 데이터 세트에서 모델의 성능을 크게 향상시키는 것으로 나타났습니다.
