본 논문은 대규모 언어 모델(LLM)의 추론 작업을 위한 강화 학습(RL)의 효율성을 높이기 위해 비동기식 강화 학습 시스템인 AReaL을 제안합니다. 기존의 동기식 시스템은 배치 내 가장 긴 출력이 완료될 때까지 생성 작업이 대기해야 하므로 GPU 활용률이 낮다는 한계를 가지고 있습니다. AReaL은 생성과 학습을 완전히 분리하여 생성 작업자는 지속적으로 새로운 출력을 생성하고, 학습 작업자는 데이터 배치가 수집될 때마다 모델을 업데이트합니다. 여러 시스템 최적화 기법과 데이터 낙후성을 제어하는 workload 균형 및 낙후성을 고려한 PPO 변형을 통해 RL 학습의 안정성을 확보합니다. 수학 및 코드 추론 벤치마크 실험 결과, AReaL은 동기식 시스템에 비해 최대 2.77배의 학습 속도 향상을 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 강화 학습 과정에서 GPU 활용률을 크게 높여 학습 속도를 향상시킬 수 있음을 보여줌.
◦
비동기식 접근 방식을 통해 동기식 시스템의 병목 현상을 해결하여 효율성을 개선함.
◦
낙후성을 고려한 PPO 변형과 workload 균형 조절을 통해 안정적인 RL 학습을 가능하게 함.
