Periodic Asynchrony: An Effective Method for Accelerating On-Policy Reinforcement Learning
Created by
Haebom
Category
Empty
저자
Jian Lu
개요
GRPO 알고리즘의 도입 이후 강화 학습(RL)에 대한 관심이 증가했지만, 훈련 효율성은 여전히 중요한 과제로 남아있다. 본 연구에서는 추론과 훈련을 분리하여 주기적 비동기 프레임워크를 도입했다. 이는 각 구성 요소의 수요 기반, 독립적이며 탄력적인 확장을 가능하게 한다. 또한, on-policy 전략 하에서 기존 동기 방식과 정확도가 동일하며, 훈련 단계에서 통합된 삼중 모델 아키텍처를 적용하고 반복 계산을 줄이기 위해 공유 프롬프트 어텐션 마스크를 제안했다.
시사점, 한계점
•
시사점:
◦
추론과 훈련 분리를 통한 RL 훈련 효율성 향상.
◦
주기적 비동기 프레임워크 도입으로 컴포넌트의 유연한 확장성 확보.
◦
NPU 플랫폼에서 3배 이상의 성능 향상 달성.
◦
on-policy 전략 하에서 기존 동기 방식과 동일한 정확도 유지.
◦
통합 삼중 모델 아키텍처 및 공유 프롬프트 어텐션 마스크를 통한 계산 효율성 증대.
•
한계점:
◦
구체적인 GRPO 알고리즘의 개선 사항이나 구현 세부 정보 부족.
◦
특정 NPU 플랫폼에 대한 성능 향상에 초점이 맞춰져 있어, 다른 환경에서의 일반화 가능성 불확실.
