본 논문은 확산 기반 이미지 생성 모델의 품질 향상을 위해 이미지 품질 평가(IQA) 모델을 통합하는 방법을 제안합니다. 기존 확산 모델의 고품질 이미지 생성의 어려움을 해결하기 위해, IQA 모델의 출력과 내부 활성화를 이용하여 질적 관계를 학습하는 방법을 연구했습니다. 먼저, 기울기 기반 안내를 이용한 직접적인 이미지 품질 최적화 방법을 실험하였으나 일반화에 한계를 보였습니다. 이를 해결하기 위해, 이미지와 품질 점수 간의 암묵적 관계를 학습하여 목표 품질 수준에 따라 생성을 조절하는 새로운 프레임워크인 IQA-Adapter를 제시합니다. IQA-Adapter는 고품질 목표 조건 하에서 생성된 이미지의 분포를 고품질 영역으로 이동시키고, 낮은 품질 신호를 입력받으면 점진적으로 왜곡된 이미지를 생성하는 데 사용될 수 있습니다. 사용자 선호도 연구를 통해 확인된 바와 같이, 고품질 조건 하에서 IQA-Adapter는 여러 객관적 지표에서 최대 10%의 성능 향상을 달성하며, 생성 다양성과 콘텐츠를 유지합니다. 또한, IQA 모델의 풍부한 활성화 공간을 이용하여 이미지 간에 특정한 콘텐츠와 무관한 질적 특징을 전달하는 참조 기반 조건화 시나리오로 IQA-Adapter를 확장했습니다.
