DRAGON은 원하는 결과에 맞춰 미디어 생성 모델을 미세 조정하기 위한 유연한 프레임워크입니다. 전통적인 강화 학습(RLHF)이나 DPO와 같은 쌍별 선호도 접근 방식에 비해 더 유연하며, 개별 예제 또는 예제 분포를 평가하는 보상 함수를 최적화할 수 있습니다. DRAGON은 온라인 생성물을 수집하고, 이를 보상 함수로 평가하여 긍정 및 부정 샘플 세트를 구축한 다음, 이들 유한 세트 간의 대비를 활용하여 분포형 보상 최적화를 근사합니다. 오디오 도메인 텍스트-음악 확산 모델을 20개의 보상 함수(음악 미학 모델, CLAP 점수, Vendi 다양성, FAD 등)로 미세 조정하여 평가한 결과, 81.45%의 평균 승률을 달성했습니다. 예제 세트를 기반으로 한 보상 함수는 생성을 향상시키고 모델 기반 보상과 유사한 성능을 보였습니다. 적절한 예제 세트를 사용하면 인간 선호도 주석에 대한 학습 없이도 60.95%의 인간 투표 음악 품질 승률을 달성했습니다.
