Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Entropic Time Schedulers for Generative Diffusion Models

Created by
  • Haebom

저자

Dejan Stancevic, Florian Handke, Luca Ambrogioni

개요

본 논문은 생성 확산 모델의 성능 향상을 위해 엔트로피 기반의 새로운 시간 스케줄러를 제안합니다. 기존의 균일한 시간 간격 대신, 각 시간점이 최종 생성에 동일한 정보량을 제공하도록 엔트로피를 기반으로 샘플링 지점을 선택하는 시간 재매개변수화 방법을 제시합니다. 이 방법은 초기 시간 선택에 의존하지 않으며, 학습 손실을 이용하여 계산 가능한 정확한 공식으로 엔트로피 시간을 추정할 수 있습니다. 또한, 최적화 결과에 착안하여 재조정된 엔트로피 시간을 도입합니다. 가우시안 혼합 분포와 ImageNet 실험 결과, 제안된 (재조정된) 엔트로피 시간을 사용하면 학습된 모델의 추론 성능이 크게 향상됨을 보여줍니다. 특히, 사전 학습된 EDM2 모델의 이미지 품질(FID 및 FD-DINO 점수 기준)이 함수 평가 횟수를 늘리지 않고도 상당히 향상되었으며, 특히 적은 함수 평가 횟수 환경에서 더 큰 향상을 보였습니다.

시사점, 한계점

시사점:
생성 확산 모델의 추론 성능을 향상시키는 새로운 시간 스케줄링 방법 제시.
엔트로피 기반 시간 재매개변수화를 통해 함수 평가 횟수 증가 없이 이미지 품질 향상.
학습 손실을 이용한 엔트로피 시간의 효율적인 추정 방법 제공.
적은 함수 평가 횟수 환경에서도 성능 향상 효과가 큼.
한계점:
제안된 방법의 효과가 특정 모델(EDM2)과 데이터셋(ImageNet)에 국한될 가능성 존재.
다른 생성 모델이나 다양한 데이터셋에 대한 추가적인 실험이 필요.
엔트로피 시간 계산의 계산 복잡도에 대한 추가적인 분석 필요.
👍