Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Improving Progressive Generation with Decomposable Flow Matching

Created by
  • Haebom

저자

Moayed Haji-Ali, Willi Menapace, Ivan Skorokhodov, Arpit Sahni, Sergey Tulyakov, Vicente Ordonez, Aliaksandr Siarohin

개요

본 논문은 고차원 시각 모달리티 생성의 계산 비용 문제를 해결하기 위해, 사용자 정의 다중 스케일 표현(예: Laplacian pyramid)의 각 레벨에 독립적으로 Flow Matching을 적용하는 새로운 프레임워크인 Decomposable Flow Matching (DFM)을 제안합니다. DFM은 기존의 다단계 생성 모델들이 가진 복잡성(맞춤형 확산 공식, 분해 의존 단계 전환, 임시 샘플러 또는 모델 캐스케이드 필요)을 해결하고, 단일 모델로 이미지 및 비디오의 시각적 품질을 향상시킵니다. 실험 결과, Imagenet-1k 512px 데이터셋에서 기본 아키텍처 대비 FDD 점수가 35.2% 향상되었고, 최고 성능의 기준 모델 대비 26.4% 향상되었습니다. 또한, FLUX와 같은 대규모 모델의 미세 조정에 적용했을 때, 훈련 분포에 대한 더 빠른 수렴 속도를 보였습니다. 이는 기존 훈련 파이프라인에 대한 최소한의 수정만으로 가능합니다.

시사점, 한계점

시사점:
고차원 시각 모달리티 생성의 계산 비용을 효과적으로 줄이는 새로운 방법 제시
단일 모델 기반으로 이미지 및 비디오 품질 향상
기존 다단계 생성 모델의 복잡성 문제 해결
대규모 모델 미세 조정 시 빠른 수렴 속도 달성
기존 훈련 파이프라인에 대한 최소한의 수정만 필요
한계점:
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 다중 스케일 표현에 대한 적용성 및 성능 평가 필요
특정 데이터셋 및 모델에 대한 결과이며, 다른 조건에서의 성능은 추가 검증 필요
👍