강화 학습은 대규모 언어 모델 추론 발전에 핵심적인 역할을 해왔지만, 대부분의 알고리즘은 매 업데이트마다 새로운 롤아웃이 필요한 온-정책 훈련에 의존하여 효율성과 확장성을 제한합니다. 비동기 RL 시스템은 롤아웃 생성과 훈련을 분리하여 이 문제를 완화하지만, 롤아웃 데이터의 큰 낡음을 견디는 데 달려있으며, 이 경우 기존 방법은 성능이 저하되거나 붕괴됩니다. 본 연구에서는 이 문제에 대해 재고하고, 적절히 활용하면 낡은 데이터가 온-정책 데이터만큼 유익할 수 있다는 '붕괴 전 번영' 현상을 발견했습니다. 이를 바탕으로, M2PO (Second-Moment Trust Policy Optimization)를 제안하여 중요도 가중치의 두 번째 모멘트를 제한함으로써 극단적인 이상치를 억제하면서 유익한 업데이트를 보존합니다. M2PO는 높은 낡음 조건에서 잘린 토큰의 비율을 크게 줄이며, 고분산 토큰을 정확하게 마스킹하면서 안정적인 최적화를 유지합니다. 여섯 개의 모델과 여덟 개의 벤치마크에 대한 광범위한 평가를 통해 M2PO가 최소 256번의 모델 업데이트로 낡은 데이터에서도 안정적인 오프-정책 훈련을 제공하고, 온-정책 성능에 필적함을 보여줍니다.
