Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Learning Robust Diffusion Models from Imprecise Supervision

Created by
  • Haebom

저자

Dong-Dong Wu, Jiacheng Cui, Wei Wang, Zhiqiang Shen, Masashi Sugiyama

DMIS: Diffusion Models from Imprecise Supervision

개요

Conditional diffusion 모델은 다양한 생성 작업에서 뛰어난 성능을 보였지만, 일반적으로 조건 입력에 부정확한 정보가 포함된 대규모 데이터셋에 의존하여 훈련됩니다. 이러한 감독 정보는 잡음, 모호성 또는 불완전한 라벨에서 비롯되어 조건 불일치를 유발하고 생성 품질을 저하시킬 수 있습니다. 이러한 문제를 해결하기 위해, DMIS(Diffusion Models from Imprecise Supervision)를 제안합니다. DMIS는 diffusion 모델에서 최초의 체계적인 연구로, 부정확한 감독 하에서 견고한 Diffusion 모델을 훈련하기 위한 통합 프레임워크입니다. DMIS는 가능도 최대화에서 파생되며, 생성 및 분류 구성 요소로 목표를 분해합니다. 생성 구성 요소는 부정확한 라벨 분포를 모델링하고, 분류 구성 요소는 diffusion 분류기를 활용하여 클래스 사후 확률을 추론합니다. 효율성은 최적화된 timestep 샘플링 전략을 통해 더욱 향상됩니다. 이미지 생성, 약지도 학습, 잡음이 있는 데이터셋 압축 등 다양한 형태의 부정확한 감독에 대한 광범위한 실험을 통해 DMIS는 일관되게 고품질의 클래스 식별 가능한 샘플을 생성하는 것을 입증했습니다.

시사점, 한계점

시사점:
부정확한 감독 환경에서 diffusion 모델 훈련을 위한 새로운 프레임워크 제시.
생성 및 분류 구성 요소로 목표를 분해하여 견고성을 확보.
최적화된 timestep 샘플링 전략을 통해 효율성을 향상시킴.
이미지 생성, 약지도 학습, 잡음 데이터셋 압축 등 다양한 작업에서 높은 성능 입증.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음.
👍