Wenke Huang, Quan Zhang, Yiyang Fang, Jian Liang, Xuankun Rong, Huanjin Yao, Guancheng Wan, Ke Liang, Wenwen He, Mingjun Li, Leszek Rutkowski, Mang Ye, Bo Du, Dacheng Tao
개요
본 논문은 기초 모델의 추론 작업 성능을 크게 향상시킨 GRPO(Group Relative Policy Optimization)와 같은 강화 학습의 최근 발전에 대해 다룹니다. GRPO에서 궤적 중요도를 순위 매기는 중심 메커니즘으로서 이점 함수가 사용됩니다. 그러나 기존 연구에서는 합리적인 이점 할당을 방해하는 이점 역전 및 이점 미러 문제가 발생합니다. 본 논문에서는 간단하지만 효과적인 GRPO 전략인 MAPO(Mixed Advantage Policy Optimization)를 제안합니다. 궤적이 서로 다른 확실성으로 나타나는 것을 밝히고, 확실성이 높은 궤적을 가진 샘플에 대해 이점 백분율 편차를 제안합니다. 또한, 다양한 궤적 확실성을 가진 샘플에 대한 이점 함수의 가중치를 동적으로 재조정하여 샘플 특성을 고려하도록 이점 함수를 적응적으로 구성합니다. 관련 최첨단 방법과의 비교와 다양한 이점 변형에 대한 ablation 연구를 통해 본 접근 방식의 효과를 검증합니다.
시사점, 한계점
•
시사점: MAPO는 GRPO의 이점 역전 및 이점 미러 문제를 완화하여 기초 모델의 추론 작업 성능을 향상시키는 효과적인 전략임을 제시합니다. 샘플 특성을 고려한 동적 가중치 재조정을 통해 더욱 정교한 이점 함수 구성이 가능함을 보여줍니다.
•
한계점: 본 논문에서 제시된 MAPO의 효과는 특정 기초 모델과 추론 작업에 국한될 수 있습니다. 다양한 기초 모델과 작업에 대한 추가적인 실험이 필요합니다. 또한, 이점 백분율 편차 및 동적 가중치 재조정 전략의 일반화 가능성에 대한 추가적인 연구가 필요합니다.
