본 논문은 실시간 정보 및 특정 도메인 문제 처리에 어려움을 겪는 대규모 언어 모델의 과제를 해결하기 위한 기본 패러다임으로 자리 잡은 검색 증강 생성(RAG)에 대해 다룹니다. 기존 RAG 시스템은 주로 대규모 언어 모델 자체의 문맥 내 학습(ICL) 기능에 의존하지만, RAG 생성 모델에 필요한 특정 기능에 대한 심층적인 연구가 부족하여 일관되지 않은 문서 품질 및 검색 시스템의 불완전성이라는 문제점이 발생합니다. RAG 생성 모델을 미세 조정하는 제한적인 연구조차도 RAG 작업에 대한 세분화된 초점이나 사고 연쇄 과정의 심층적인 활용이 부족합니다. 이를 해결하기 위해 본 논문은 RAG 모델이 (1) 필터링(관련 정보 선택 능력), (2) 결합(다른 단락 간의 의미 정보 결합 능력), (3) RAG 특정 추론(내부 지식을 사용하여 외부 지식을 추가로 처리하는 능력)이라는 세 가지 점진적인 계층적 능력을 가져야 한다고 제안합니다. 따라서 "답변하기 전에 생각하기" 전략을 통합하는 새로운 RAG 지시 미세 조정 방법인 계층적 사고 지시 미세 조정 검색 증강 생성(HIRAG)을 제시합니다. 이 방법은 다단계 점진적 사고 연쇄 과정을 활용하여 모델의 오픈북 시험 능력을 향상시킵니다. 실험 결과, HIRAG 훈련 전략은 RGB, PopQA, MuSiQue, HotpotQA 및 PubmedQA와 같은 데이터 세트에서 모델의 성능을 크게 향상시키는 것으로 나타났습니다.
