Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FlowRL: Matching Reward Distributions for LLM Reasoning

Created by
  • Haebom

저자

Xuekai Zhu, Daixuan Cheng, Dinghuai Zhang, Hengli Li, Kaiyan Zhang, Che Jiang, Youbang Sun, Ermo Hua, Yuxin Zuo, Xingtai Lv, Qizheng Zhang, Lin Chen, Fanghao Shao, Bo Xue, Yunchong Song, Zhenjie Yang, Ganqu Cui, Ning Ding, Jianfeng Gao, Xiaodong Liu, Bowen Zhou, Hongyuan Mei, Zhouhan Lin

개요

본 논문은 대규모 언어 모델(LLM) 강화 학습(RL)에서 보상을 극대화하는 대신 흐름 균형을 통해 전체 보상 분포를 일치시키는 FlowRL을 제안합니다. 최근 발전된 추론 모델은 PPO 및 GRPO와 같은 보상 극대화 방법을 채택하는데, 이는 빈도가 낮지만 유효한 추론 경로를 무시하면서 지배적인 보상 신호를 과도하게 최적화하는 경향이 있어 다양성을 감소시킵니다. 대조적으로, 본 논문에서는 학습 가능한 분할 함수를 사용하여 스칼라 보상을 정규화된 목표 분포로 변환한 다음, 정책과 목표 분포 간의 역 KL 발산을 최소화합니다. 이 아이디어는 다양한 탐색과 일반화 가능한 추론 경로를 촉진하는 흐름 균형 최적화 방법으로 구현됩니다. 수학 및 코드 추론 작업에 대한 실험을 수행한 결과, FlowRL은 수학 벤치마크에서 GRPO보다 평균 10.0%, PPO보다 5.1% 향상되었으며, 코드 추론 작업에서도 일관되게 더 나은 성능을 보였습니다. 이러한 결과는 LLM 강화 학습에서 효율적인 탐색과 다양한 추론을 위한 핵심 단계로서 보상 분포 일치를 강조합니다.

시사점, 한계점

•
시사점:
◦
LLM 강화 학습에서 보상 극대화 대신 보상 분포 일치의 효용성을 제시합니다.
◦
FlowRL이 기존 방법(PPO, GRPO)보다 수학 및 코드 추론 작업에서 더 나은 성능을 보임을 실험적으로 증명합니다.
◦
다양한 추론 경로 탐색 및 일반화 가능한 추론 경로 생성에 기여합니다.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 검증이 필요합니다.
◦
특정 작업(수학 및 코드 추론)에 대한 실험 결과만 제시되어 다른 작업에 대한 적용 가능성은 추가 연구가 필요합니다.
◦
학습 가능한 분할 함수의 설계 및 최적화에 대한 자세한 설명이 부족할 수 있습니다.
👍
Made with Slashpage