본 논문은 흐름 일치 모델에 온라인 강화 학습(RL)을 통합한 최초의 방법인 Flow-GRPO를 제안합니다. 핵심 전략은 두 가지로, 첫째, 결정론적 상미분 방정식(ODE)을 모든 시간 단계에서 원래 모델의 주변 분포와 일치하는 등가 확률 미분 방정식(SDE)으로 변환하여 RL 탐색을 위한 통계적 샘플링을 가능하게 하는 ODE-to-SDE 변환입니다. 둘째, 훈련 디노이징 단계를 줄이면서 원래 추론 시간 단계 수를 유지하여 성능 저하 없이 샘플링 효율을 크게 향상시키는 디노이징 감소 전략입니다. 실험적으로 Flow-GRPO는 여러 텍스트-이미지 작업에서 효과적임을 보였으며, 복잡한 구성에서 RL로 조정된 SD3.5는 거의 완벽한 개체 수, 공간 관계 및 세부 속성을 생성하여 GenEval 정확도를 63%에서 95%로 향상시켰습니다. 시각적 텍스트 렌더링에서도 정확도가 59%에서 92%로 향상되어 텍스트 생성이 크게 향상되었습니다. 또한, Flow-GRPO는 인간 선호도 정렬에서 상당한 이점을 얻었으며, 보상 해킹이 거의 발생하지 않았다는 점이 주목할 만합니다.
