본 논문은 검색 증강 생성(RAG)에서 대규모 언어 모델(LLM)의 성능 향상(benefit)과 오류 유도(detriment)의 이점과 손실을 이론적으로 설명하고, 이를 바탕으로 새로운 방법을 제시하는 연구입니다. 기존 RAG 방법들이 데이터 기반으로 이점과 손실을 설명하지 못하고 추가적인 평가 지표에 의존하는 한계를 극복하고자, LLM 지식 분포와 검색 텍스트 분포의 융합으로 RAG를 모델링합니다. 다음 토큰 예측에서 외부 지식의 가치와 LLM 오류 유도 가능성 간의 절충 관계를 분포 차이로 공식화하고, 훈련이나 검색 유용성 접근 없이 RAG의 실제 효과를 예측할 수 있음을 증명합니다. 이를 바탕으로 토큰 단위에서 순수 LLM과 RAG의 협업 생성을 통해 이점을 유지하고 손실을 피하는 새로운 방법인 Tok-RAG를 제안하며, OPT, LLaMA-2, Mistral과 같은 LLM을 사용한 실험을 통해 방법의 효과성과 이론적 발견을 뒷받침합니다.
