본 논문은 기존 강화학습 기반 확산 모델 미세조정 방식의 한계(단일 보상 함수 최대화, 고정된 KL 정규화, 사용자 선호도 다양성 고려 미흡)를 극복하기 위해, 추론 시점에서 사용자 지정 보상 함수의 선형 조합과 정규화를 통해 다양한 선호도에 맞춰 이미지를 생성하는 새로운 방법인 Diffusion Blend를 제안합니다. Diffusion Blend는 미세조정된 모델들과 연관된 역확산 과정을 혼합하는 방식으로, 다중 보상 정렬을 위한 DB-MPA와 KL 정규화 제어를 위한 DB-KLA 두 가지 알고리즘으로 구현됩니다. 실험 결과, Diffusion Blend는 기존 방식보다 성능이 우수하며, 개별 미세조정 모델의 성능에 근접하거나 능가하는 것을 보여줍니다.
