Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement
Created by
Haebom
저자
Chenyu Lin, Yilin Wen, Du Su, Hexiang Tan, Fei Sun, Muhan Chen, Chenfu Bao, Zhonghou Lyu
Knowledgeable-R1: Robust Retrieval-Augmented Generation with Parametric Knowledge
개요
Retrieval-augmented generation (RAG)의 문제점인 잘못된 검색 결과로 인한 성능 저하를 해결하기 위해 제안된 프레임워크. Knowledgeable-R1은 강화 학습을 통해 대규모 언어 모델(LLM)이 외부 컨텍스트가 유용할 때 이를 활용하면서도, 잘못된 컨텍스트에 영향을 받지 않도록 파라메트릭 지식(PK)을 사용하도록 학습한다. 이 프레임워크는 검색 유무에 따른 응답 쌍을 생성하는 결합 샘플링 방식을 사용하며, 잘못된 컨텍스트 무시와 활용 시점을 평가하기 위해 로컬 및 글로벌 이점을 학습한다. 비대칭 이점 변환을 통해 파라메트릭 지식 탐구 행동을 강화한다. 실험 결과, Knowledgeable-R1은 지식 충돌 시나리오 및 일반 RAG 시나리오에서 견고성과 추론 정확도를 향상시켰으며, 최첨단(SOTA) 베이스라인을 상회하는 성능을 보였다.
