본 논문은 텍스트-이미지 확산 모델의 텍스트-이미지 정렬 및 샘플 품질을 향상시키기 위해 강화 학습(RL)을 사용하는 최근 연구에 대해 다룹니다. 기존 접근 방식의 불필요한 복잡성(전체 샘플링 경로 캐싱, 미분 가능한 보상 모델 또는 대규모 선호도 데이터셋 의존, 특수한 안내 기술 필요)을 지적하며, "골든 노이즈" 가설(특정 초기 노이즈 샘플이 일관되게 우수한 정렬을 제공할 수 있다는 가설)에 착안하여, 사전 훈련된 확산 모델을 완전히 고정시키고 프롬프트 조건부 초기 노이즈 생성기를 학습하는 최소주의 RL 알고리즘인 Noise PPO를 제시합니다. Noise PPO는 경로 저장, 보상 역전파, 복잡한 안내 기술이 필요하지 않습니다. 광범위한 실험을 통해 초기 노이즈 분포의 최적화가 원래 모델보다 정렬 및 샘플 품질을 일관되게 향상시키며, 특히 적은 추론 단계에서 가장 큰 이점을 보임을 보여줍니다. 추론 단계 수가 증가함에 따라 노이즈 최적화의 이점은 감소하지만 여전히 존재합니다. 이러한 결과는 골든 노이즈 가설의 범위와 한계를 명확히 하고 확산 모델을 위한 최소주의 RL 미세 조정의 실용적 가치를 강화합니다.
