MCLR: Improving Conditional Modeling via Inter-Class Likelihood-Ratio Maximization and Unifying Classifier-Free Guidance with Alignment Objectives

작성자

Haebom

카테고리

Empty

저자

Xiang Li, Yixuan Jia, Xiao Li, Jeffrey A. Fessler, Rongrong Wang, Qing Qu

💡 개요

이 논문은 확산 모델의 성능을 향상시키기 위해 기존의 표준 denoising score matching(DSM)의 한계점으로 지적되는 클래스 간 분리 부족 문제를 해결하고자 합니다. 이를 위해 클래스 간 우도비(likelihood-ratio)를 최대화하는 새로운 훈련 목표인 MCLR(Maximizing Inter-Class Likelihood-Ratios)을 제안하며, 이를 통해 추론 시 classifier-free guidance(CFG) 없이도 유사한 성능 향상을 얻을 수 있음을 보여줍니다. 더 나아가, MCLR이 CFG의 이론적 기반과 연결되어 있음을 증명하며 CFG를 정렬 기반 목표를 통해 설명합니다.

🔑 시사점 및 한계

•

기존 확산 모델 훈련 방식의 근본적인 문제점인 클래스 간 분리 부족을 효과적으로 개선하여, 별도의 추론 시간 기법 없이도 생성 품질을 높일 수 있습니다.

•

제안하는 MCLR 훈련 목표가 추론 시간 CFG의 효과를 내재화함으로써, 훈련 단계에서부터 모델의 조건부 생성 능력을 강화할 수 있습니다.

•

CFG의 이론적 해석을 제공하고, 정렬 기반 목표와의 연결성을 규명하여 확산 모델 훈련 및 유도에 대한 새로운 이해를 제시합니다.

•

제안된 MCLR이 모든 종류의 확산 모델과 데이터셋에 대해 CFG와 동일하거나 더 나은 성능을 보장하는지에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage