GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
Created by
Haebom
Category
Empty
저자
Jinchang Luo, Mingquan Cheng, Fan Wan, Ni Li, Xiaoling Xia, Shuangshuang Tian, Tingcheng Bian, Haiwei Wang, Haohuan Fu, Yan Tao
개요
GlobalRAG는 다단계 질문 응답(QA)에서 강화 학습을 활용하여 전역적 추론을 개선하는 프레임워크입니다. 질문을 하위 목표로 분해하고, 추론과 검색을 조정하며, 증거를 반복적으로 개선합니다. Planning Quality Reward와 SubGoal Completion Reward를 도입하여 일관된 계획과 신뢰할 수 있는 하위 목표 실행을 장려합니다. 또한, 점진적인 가중치 어닐링 전략을 통해 과정 지향적 목표와 결과 지향적 목표 간의 균형을 맞춥니다. GlobalRAG는 소량의 훈련 데이터 (8k) 만 사용하면서도 강력한 베이스라인을 크게 능가하며, EM과 F1에서 평균 14.2%의 개선을 보였습니다.
시사점, 한계점
•
시사점:
◦
강화 학습을 활용하여 다단계 QA에서 전역적 추론을 개선했습니다.
◦
Planning Quality Reward와 SubGoal Completion Reward를 통해 일관된 계획과 신뢰할 수 있는 하위 목표 실행을 장려했습니다.