본 논문은 장문 맥락 처리에 있어 기존의 Retrieval-Augmented Generation (RAG) 방법의 한계를 극복하기 위해 MemoRAG라는 새로운 RAG 프레임워크를 제안한다. MemoRAG는 경량의 장거리 시스템과 고성능의 시스템으로 구성된 이중 시스템 아키텍처를 사용한다. 경량 시스템은 장문 맥락의 글로벌 메모리를 생성하고, 과제가 주어지면 초안 답변을 생성하여 관련 정보 검색에 도움을 준다. 고성능 시스템은 검색된 정보를 바탕으로 최종 답변을 생성한다. 메모리 모듈은 KV 압축으로 구현되며, 생성 품질 피드백(RLGF)을 통해 메모리 및 단서 생성 능력을 강화한다. 실험 결과, MemoRAG는 기존 RAG 방법이 어려움을 겪는 복잡한 시나리오뿐 아니라 일반적인 장문 맥락 평가 과제에서 우수한 성능을 달성했다.
시사점, 한계점
•
시사점:
◦
기존 RAG의 한계점인 명시적 질의 및 잘 구조화된 지식 요구사항을 극복하는 새로운 RAG 프레임워크 제시.
◦
경량 시스템과 고성능 시스템의 이중 시스템 아키텍처를 통해 장문 맥락 처리의 효율성 및 성능 향상.
◦
KV 압축 기반 메모리 모듈 및 RLGF 기반 강화 학습을 통해 메모리 및 단서 생성 능력 향상.
