본 논문은 이미지 및 비디오 생성 모델의 인간 선호도 정렬을 향상시키는 GRPO(Guided Reward Policy Optimization)의 최근 발전에 대해 다룹니다. 기존 GRPO는 정책에 따른 롤아웃(on-policy rollout)과 과도한 SDE(Stochastic Differential Equation) 샘플링 단계로 인한 높은 계산 비용과 희소 보상으로 인한 훈련 불안정성 문제를 겪습니다. 이를 해결하기 위해 본 논문에서는 SDE 샘플링 프로세스를 업데이트하는 분기 샘플링 정책을 도입한 새로운 방법인 BranchGRPO를 제안합니다. 공통 접두사 간 계산 공유와 저보상 경로 및 중복 깊이 가지치기를 통해 BranchGRPO는 업데이트 당 계산 비용을 크게 줄이면서 탐색 다양성을 유지하거나 개선합니다. 주요 기여는 분기 샘플링 기법을 통한 롤아웃 및 훈련 비용 감소, 밀집 프로세스 수준 보상을 통합한 트리 기반 이점 추정기, 그리고 경로 및 깊이 중복을 활용한 가지치기 전략을 통한 수렴 속도 향상 및 성능 향상입니다. 실험 결과, BranchGRPO는 강력한 기준 모델보다 정렬 점수를 16% 향상시키면서 훈련 시간을 50% 단축했습니다.
시사점, 한계점
•
시사점:
◦
GRPO의 계산 비용 및 훈련 불안정성 문제를 효과적으로 해결하는 새로운 방법(BranchGRPO) 제시.
◦
훈련 시간 단축(50%) 및 정렬 점수 향상(16%)을 통해 이미지 및 비디오 생성 모델의 인간 선호도 정렬 성능 개선.
