본 논문은 대규모 언어 모델(LLM)에 메모리를 통합하는 두 가지 주요 방법인 긴 문맥 LLM과 검색 증강 생성(RAG)을 체계적으로 비교 분석합니다. 세 가지 새로운 데이터셋을 사용한 실험 결과, 긴 문맥 방식은 비용이 더 높지만 전체 메모리를 고려해야 하는 질문에 더 나은 답변을 제공하고, RAG 방식은 특정 정보와 관련된 질문에 키워드 매칭을 통해 더 경쟁력 있는 결과를 보여준다는 것을 밝혔습니다. 따라서 본 논문에서는 RAG 원칙에 따라 생성된 데이터를 사용하여 상대적으로 작은(예: 7B) LLM을 미세 조정하는 새로운 방법인 RAG-Tuned-LLM을 제안합니다. 실험 결과, RAG-Tuned-LLM은 다양한 유형의 질문에서 긴 문맥 LLM과 RAG 방법보다 우수한 성능을 보였습니다.
