[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs

Created by
  • Haebom

저자

Zhihe Yang, Xufang Luo, Zilong Wang, Dongqi Han, Zhiyuan He, Dongsheng Li, Yunjian Xu

개요

본 논문은 강화 학습(RL)을 이용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 연구에 대해 다룹니다. 특히, 기존의 GRPO(Group Relative Policy Optimization) 방법의 효율성을 제고하기 위해, 저확률 토큰의 큰 기울기가 모델 업데이트에 불균형적으로 영향을 미치는 문제점을 지적합니다. 이 문제를 해결하기 위해, 저확률 토큰의 기울기를 감쇠시키고 고확률 토큰의 기울기를 강조하는 두 가지 새로운 방법인 Advantage Reweighting과 Low-Probability Token Isolation (Lopti)을 제안합니다. 실험 결과, 제안된 방법들은 GRPO로 학습된 LLM의 성능을 최대 46.2% 향상시키는 것을 보여주며, 특히 K&K Logic Puzzle 추론 과제에서 효과적임을 입증합니다. 소스 코드는 깃허브에 공개되어 있습니다.

시사점, 한계점

•
시사점:
◦
저확률 토큰의 기울기가 RL 학습에 미치는 부정적 영향을 규명하고, 이를 완화하는 효과적인 방법을 제시.
◦
Advantage Reweighting과 Lopti 기법을 통해 GRPO 기반 LLM의 성능을 크게 향상시킬 수 있음을 실험적으로 증명.
◦
K&K Logic Puzzle 과제에서 눈에 띄는 성능 향상을 달성.
◦
개선된 RL 학습 방법을 통해 LLM의 추론 능력 향상에 기여.
◦
소스 코드 공개를 통해 재현성과 추가 연구를 지원.
•
한계점:
◦
제안된 방법의 효과가 특정 유형의 추론 과제(K&K Logic Puzzle)에 국한될 가능성.
◦
다른 RL 알고리즘이나 LLM 아키텍처에 대한 일반화 가능성에 대한 추가 연구 필요.
◦
저확률 토큰의 기울기 감쇠가 모델의 학습 안정성에 미치는 장기적 영향에 대한 추가 분석 필요.
◦
다양한 데이터셋과 과제에 대한 더 광범위한 실험이 필요.
👍
Made with Slashpage