본 논문은 흐름 일치 모델에 온라인 강화 학습(RL)을 통합한 최초의 방법인 Flow-GRPO를 제안합니다. 핵심 전략은 두 가지로, 첫째, 결정론적 상미분 방정식(ODE)을 모든 시간 단계에서 원래 모델의 주변 분포와 일치하는 등가의 확률 미분 방정식(SDE)로 변환하여 RL 탐색을 위한 통계적 샘플링을 가능하게 하는 ODE-to-SDE 변환입니다. 둘째, 학습 탈잡음 단계를 줄이면서 원래 추론 시간 단계 수를 유지하여 성능 저하 없이 샘플링 효율을 크게 향상시키는 탈잡음 감소 전략입니다. 실험적으로 Flow-GRPO는 여러 텍스트-이미지 작업에서 효과적이며, 복잡한 구성에서 RL로 조정된 SD3.5는 거의 완벽한 개체 수, 공간 관계 및 세분화된 속성을 생성하여 GenEval 정확도를 63%에서 95%로, 시각적 텍스트 렌더링 정확도를 59%에서 92%로 크게 향상시킵니다. 또한 인간 선호도 정렬에서 상당한 이득을 얻었으며, 보상 해킹이 거의 발생하지 않았다는 점이 주목할 만합니다.
