ST-PPO: Stabilized Off-Policy Proximal Policy Optimization for Multi-Turn Agents Training
Created by
Haebom
Category
Empty
저자
Chenliang Li, Adel Elmahdy, Alex Boyd, Zhongruo Wang, Alfredo Garcia, Parminder Bhatia, Taha Kass-Hout, Cao Xiao, Mingyi Hong
개요
본 논문은 대규모 언어 모델(LLM)을 다중 턴 대화 및 추론 작업에서 훈련할 때 널리 사용되는 PPO(Proximal Policy Optimization)의 불안정성을 해결하기 위해 개발된 두 가지 안정화 기술을 제시합니다. 구체적으로, 토큰 수준의 중요도 샘플링과 오프-정책 샘플에서 비롯된 부정확한 어드밴티지 추정에서 기인하는 PPO의 불안정성을 분석하고, 이를 해결하기 위해 턴 수준 중요도 샘플링과 클리핑-바이어스 보정을 제안합니다. 실험을 통해 ST-PPO 및 S-PPO 변형이 표준 토큰 수준 PPO보다 성능 저하를 방지하고, 더 낮은 클리핑 비율을 유지하며, 더 높은 작업 성능을 달성함을 입증했습니다.
시사점, 한계점
•
시사점:
◦
턴 수준 중요도 샘플링과 클리핑-바이어스 보정의 조합은 다중 턴 LLM 에이전트 훈련을 안정화하는 실용적이고 확장 가능한 솔루션을 제공합니다.
◦
ST-PPO 및 S-PPO는 표준 토큰 수준 PPO의 성능 저하 문제를 해결합니다.
◦
다중 턴 검색 작업에서 일반 QA, 멀티 홉 QA, 의료 객관식 QA 벤치마크에 걸쳐 향상된 성능을 보입니다.
