[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions

Created by
  • Haebom

저자

Tejas Jayashankar, J. Jon Ryu, Gregory Wornell

개요

본 논문은 $\alpha$-skew Jensen-Shannon divergence라는 새로운 divergence를 최소화하여 one-step 생성 모델을 학습시키는 새로운 프레임워크인 Score-of-Mixture Training (SMT)을 제안합니다. SMT는 다양한 노이즈 레벨에서 실제 및 가짜 샘플 간의 혼합 분포의 score를 추정하는 것이 핵심입니다. 일관성 모델과 유사하게, 본 논문의 접근 방식은 처음부터 학습하는 SMT와 사전 훈련된 diffusion model을 사용한 증류인 Score-of-Mixture Distillation (SMD) 모두를 지원합니다. 구현이 간단하고, 하이퍼파라미터 튜닝이 최소화되며, 안정적인 학습을 보장합니다. CIFAR-10 및 ImageNet 64x64에 대한 실험 결과, SMT/SMD는 기존 방법들과 경쟁력이 있으며 심지어 능가하는 성능을 보여줍니다.

시사점, 한계점

•
시사점:
◦
$\alpha$-skew Jensen-Shannon divergence를 이용한 새로운 one-step 생성 모델 학습 프레임워크 제시
◦
간단한 구현과 최소한의 하이퍼파라미터 튜닝으로 안정적인 학습 가능
◦
기존 방법들과 경쟁력 있는 성능, 일부 경우 능가하는 성능 달성
◦
처음부터 학습(SMT)과 사전 훈련된 diffusion model 증류(SMD) 모두 지원
•
한계점:
◦
논문에서 제시된 실험 결과가 CIFAR-10과 ImageNet 64x64에 국한됨. 다른 데이터셋이나 더 큰 이미지 해상도에 대한 성능 평가가 필요함.
◦
$\alpha$-skew Jensen-Shannon divergence의 선택 이유에 대한 더 자세한 설명이 필요함.
◦
다른 one-step generative model과의 비교 분석이 더욱 심도있게 이루어질 필요가 있음.
👍
Made with Slashpage