본 논문은 검색 증강 생성(RAG)의 효율성을 높이기 위해 동적 매개변수 RAG(DyPRAG) 프레임워크를 제안합니다. RAG는 외부 문서를 검색하여 LLM의 맥락에 통합함으로써 신뢰성을 높이지만, 추론 비용이 증가하고 환각 문제가 발생합니다. 기존의 매개변수 RAG(PRAG)는 이를 해결하기 위해 문서를 LLM 매개변수에 임베딩하지만, 높은 훈련 및 저장 비용, 제한된 일반화 능력으로 인해 실용적인 채택이 어렵습니다. DyPRAG는 경량 매개변수 변환 모델을 사용하여 문서를 효율적으로 매개변수 지식으로 변환함으로써 추론, 훈련 및 저장 비용을 줄이고, 테스트 시간에 LLM의 지식을 원활하게 향상시키며 지식 충돌을 해결합니다. 다양한 데이터셋에서의 실험을 통해 DyPRAG의 효과와 일반화 능력을 입증합니다.
