When Preferences Diverge: Aligning Diffusion Models with Minority-Aware Adaptive DPO
Created by
Haebom
Category
Empty
저자
Lingfan Zhang, Chen Liu, Chengming Xu, Kai Hu, Donghao Luo, Chengjie Wang, Yanwei Fu, Yuan Yao
개요
본 논문은 확산 모델의 미세 조정에서 보편적인 인간 선호도를 정렬하는 방법의 중요성을 다룹니다. 특히 Diffusion-DPO 및 그 변형에 초점을 맞춰 선호도 데이터의 역할을 탐구하며, 이미지 생성에서 보편적인 인간 선호도의 주관적인 특성과 선호도 데이터셋 내 소수 샘플이 제기하는 문제점을 강조합니다. 소수 샘플의 존재와 모델 성능에 대한 악영향을 실험적으로 보여주고, 소수 인스턴스 인식 지표를 DPO 목표에 통합하는 새로운 방법인 Adaptive-DPO를 제안합니다. 이 지표는 주석자 내 신뢰도와 주석자 간 안정성을 포함하여 다수 샘플과 소수 샘플을 구분합니다. Adaptive-DPO 손실 함수는 다수 레이블에 대한 모델 학습을 향상시키는 동시에 소수 샘플의 부정적 영향을 완화하여 DPO 손실을 개선합니다. 실험을 통해 합성 소수 데이터와 실제 선호도 데이터 모두에서 효과적으로 작동함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
이미지 생성 모델 학습에서 소수 샘플의 문제점을 명확히 제시하고, 이를 해결하기 위한 Adaptive-DPO 방법을 제안.
◦
Adaptive-DPO는 다수 샘플 학습을 강화하고 소수 샘플의 부정적 영향을 완화하여 모델 성능 향상에 기여.
◦
주석자 내 신뢰도와 주석자 간 안정성을 고려한 새로운 지표를 제시하여 선호도 데이터의 신뢰성 향상에 기여.
