본 논문은 이미지 및 비디오 생성 모델의 인간 선호도 정렬을 향상시키는 GRPO(Guided Reward-based Policy Optimization)의 최근 발전에도 불구하고, 온-폴리시 롤아웃과 과도한 SDE 샘플링 단계로 인한 높은 계산 비용과 희소 보상으로 인한 훈련 불안정성이 여전히 존재함을 지적합니다. 이를 해결하기 위해, 본 논문에서는 SDE 샘플링 프로세스를 업데이트하는 분기 샘플링 정책을 도입한 새로운 방법인 BranchGRPO를 제안합니다. 공통 접두사 간 계산 공유 및 저보상 경로 및 중복 깊이 가지치기를 통해 BranchGRPO는 업데이트 당 계산 비용을 크게 줄이면서 탐색 다양성을 유지하거나 개선합니다. 주요 기여는 분기 샘플링 기법을 통한 롤아웃 및 훈련 비용 감소, 밀집 프로세스 수준 보상을 통합한 트리 기반 이점 추정기, 그리고 경로 및 깊이 중복을 활용한 가지치기 전략을 통한 수렴 속도 향상 및 성능 향상입니다. 이미지 및 비디오 선호도 정렬 실험 결과, BranchGRPO는 강력한 기준 모델보다 정렬 점수를 16% 향상시키는 동시에 훈련 시간을 50% 단축합니다.
