Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning
Created by
Haebom
Category
Empty
저자
Wenda Wei, Yu-An Liu, Ruqing Zhang, Jiafeng Guo, Lixin Su, Shuaiqiang Wang, Dawei Yin, Maarten de Rijke, Xueqi Cheng
개요
검색 증강 생성(RAG)은 대규모 언어 모델의 환각 완화에 효과적이지만, 복잡하고 다단계 추론 시나리오에서는 효과가 제한적입니다. 최근 연구는 RAG에 검색 기반 상호 작용을 통합하여 실시간 검색을 통한 반복적인 추론을 가능하게 했습니다. 대부분의 접근 방식은 결과 기반 감독에 의존하여 중간 단계에 대한 명시적인 지침을 제공하지 않습니다. 이는 종종 보상 해킹과 응답 품질 저하로 이어집니다. 본 논문에서는 각 중간 단계를 순방향 및 역방향으로 함께 평가하는 새로운 검색 증강 추론 프레임워크인 Bi-RAR을 제안합니다. 각 단계의 정보 완전성을 평가하기 위해 Kolmogorov 복잡성에 기반한 양방향 정보 거리를 도입하며, 이는 언어 모델 생성 확률을 통해 근사됩니다. 이 정량화는 현재 추론이 정답으로부터 얼마나 떨어져 있는지와 질문에 얼마나 잘 대답하는지를 측정합니다. 이러한 양방향 신호 하에서 추론을 최적화하기 위해, 초반 궤적 정렬을 강조하는 캐스케이딩 보상 구조를 갖춘 다중 목표 강화 학습 프레임워크를 채택합니다. 7개의 질의응답 벤치마크에 대한 실험 결과는 Bi-RAR이 이전 방법을 능가하며, 훈련 및 추론 중에 검색 엔진과의 효율적인 상호 작용과 추론을 가능하게 함을 보여줍니다.
