본 논문은 장문 맥락을 다루는 거대 언어 모델(LC LLMs)과 검색 증강 생성(RAG)을 결합하여 복잡한 다단계 및 장문 문서 작업에 대한 잠재력을 높이는 Multi-scale Adaptive Context RAG (MacRAG) 프레임워크를 제안합니다. 기존 RAG 시스템의 부정확한 검색, 제한된 윈도우 하에서의 불완전한 맥락 적용, 최적화되지 않은 맥락 구성으로 인한 정보 단편화 문제를 해결하기 위해, MacRAG는 문서를 다양한 크기로 압축하고 분할한 후, 실시간 청크 및 문서 수준 확장을 통해 관련 맥락을 적응적으로 병합합니다. 가장 세분화된 수준의 검색으로 시작하여 점진적으로 더 넓은 상위 수준의 맥락을 통합함으로써, 쿼리 특정 장문 맥락을 구성하여 정확성과 적용 범위를 모두 최적화합니다. HotpotQA, 2WikiMultihopQA, Musique의 LongBench 확장에 대한 평가 결과, MacRAG는 Llama-3.1-8B, Gemini-1.5-pro, GPT-4o를 사용한 단일 및 다단계 생성에서 기준 RAG 파이프라인을 일관되게 능가하는 것으로 나타났습니다. 본 연구는 MacRAG를 실제 세계 장문 맥락, 다단계 추론을 위한 효율적이고 확장 가능한 솔루션으로 제시하며, 코드는 깃허브에서 공개합니다.
