Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning

Created by
  • Haebom
Category
Empty

저자

Jinchang Luo, Mingquan Cheng, Fan Wan, Ni Li, Xiaoling Xia, Shuangshuang Tian, Tingcheng Bian, Haiwei Wang, Haohuan Fu, Yan Tao

개요

GlobalRAG는 다단계 질문 응답(QA)에서 강화 학습을 활용하여 전역적 추론을 개선하는 프레임워크입니다. 질문을 하위 목표로 분해하고, 추론과 검색을 조정하며, 증거를 반복적으로 개선합니다. Planning Quality Reward와 SubGoal Completion Reward를 도입하여 일관된 계획과 신뢰할 수 있는 하위 목표 실행을 장려합니다. 또한, 점진적인 가중치 어닐링 전략을 통해 과정 지향적 목표와 결과 지향적 목표 간의 균형을 맞춥니다. GlobalRAG는 소량의 훈련 데이터 (8k) 만 사용하면서도 강력한 베이스라인을 크게 능가하며, EM과 F1에서 평균 14.2%의 개선을 보였습니다.

시사점, 한계점

시사점:
강화 학습을 활용하여 다단계 QA에서 전역적 추론을 개선했습니다.
Planning Quality Reward와 SubGoal Completion Reward를 통해 일관된 계획과 신뢰할 수 있는 하위 목표 실행을 장려했습니다.
소량의 훈련 데이터로도 강력한 성능을 달성했습니다.
한계점:
구체적인 한계점은 논문 요약에서 명시적으로 언급되지 않았습니다.
👍