Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GAPO: Robust Advantage Estimation for Real-World Code LLMs

Created by
  • Haebom

저자

Jianqing Zhang, Zhezheng Hao, Wei Xia, Hande Dong, Hong Wang, Chenxing Wei, Yuyan Zhou, Yubin Qi, Qiang Lin, Jian Cao

GAPO: Group Adaptive Policy Optimization for Code Editing with LLMs

개요

본 논문은 코드 편집을 위한 대규모 언어 모델(LLM) 사후 훈련에 널리 사용되는 강화 학습(RL)에서, 보상 분포의 왜곡과 예측 불가능한 이상치로 인한 문제를 해결하기 위해 Group Adaptive Policy Optimization (GAPO)를 제안합니다. GAPO는 이상치가 없는 최고 밀도 구간(HDI)을 프롬프트별로 찾아 해당 구간의 중앙값을 적응형 Q로 사용함으로써, 왜곡된 분포를 효과적으로 처리하고 효율성을 유지합니다. 51,844개의 실제 코드 편집 작업으로 구성된 대규모 데이터셋을 사용하여 9개의 instruction-tuned LLM (3B-14B)에 대해 GAPO를 검증했으며, GRPO 및 DAPO 변형보다 일관된 정확도 향상을 보였습니다.

시사점, 한계점

•
시사점:
◦
보상 분포의 왜곡과 이상치에 강건한 새로운 RL 알고리즘(GAPO) 제안.
◦
실제 코드 편집 작업에 특화된 GAPO의 성능 검증.
◦
GRPO 및 DAPO보다 정확도 향상.
◦
플러그 앤 플레이 방식 및 효율성 유지.
◦
코드 공개.
•
한계점:
◦
논문에서 구체적인 한계점 언급 없음.
👍
Made with Slashpage