Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification

Created by

Haebom

저자

Tianyi Wang, Long Li, Hongcan Guo, Yibiao Chen, Yixia Li, Yong Wang, Yun Chen, Guanhua Chen

💡 개요

본 논문은 강화학습에서 발생하는 순환적 공간 수축(Recursive Space Contraction, RSC) 문제를 해결하기 위한 Anchored Policy Optimization(APO) 방법론을 제안합니다. APO는 기존의 KL 정규화가 정책의 모든 영역을 모방하도록 강제하여 발생하는 경직성을 극복하고, 참조 모델의 신뢰도 높은 지지 영역(support)을 기반으로 하는 안전한 다형체(Safe Manifold)를 정의하여 효율성을 확보하면서도 오류 발생 시 복원력을 통해 붕괴를 방지합니다. 이를 통해 정확도-다양성 트레이드오프를 해결하고 Pass@1 성능을 크게 향상시키면서 Pass@K 다양성을 회복하는 성과를 보였습니다.

🔑 시사점 및 한계

•

강화학습에서 발생하는 '순환적 공간 수축'이라는 근본적인 문제를 식별하고, 이를 해결하기 위한 새로운 개념인 '지지 영역 커버리지' 기반의 정책 최적화 방법을 제시합니다.

•

제안된 APO는 기존 KL 정규화의 제약을 넘어서, 효율적인 탐색과 정확한 학습을 동시에 달성하여 복잡한 문제에서 성능 향상을 기대할 수 있습니다.

•

본 연구는 이론적 분석과 함께 수학적 벤치마크에서의 실험을 통해 APO의 유효성을 입증하였으나, 실제 복잡한 환경에서의 적용 가능성 및 추가적인 이론적 분석이 요구됩니다.

PDF 보기

Made with Slashpage