From Navigation to Refinement: Revealing the Two-Stage Nature of Flow-based Diffusion Models through Oracle Velocity

Created by

Haebom

저자

Haoming Liu, Jinnuo Liu, Yanhao Li, Liuyang Bai, Yunkai Ji, Yuanhe Guo, Shenji Wan, Hongyi Wen

💡 개요

본 연구는 흐름 기반 확산 모델의 학습 동작을 이해하기 위해 "오라클 속도"라는 개념을 도입합니다. 이를 통해 흐름 기반 확산 모델이 데이터 모드의 혼합으로 시작하여 최근접 데이터 샘플로 전환되는 두 단계 학습 목표를 가진다는 것을 밝혔습니다. 이 두 단계는 각각 전역적인 레이아웃 형성을 위한 탐색 단계와 세부적인 디테일의 암기를 위한 정제 단계로 구분됩니다.

🔑 시사점 및 한계

•

흐름 기반 확산 모델은 두 가지 상반된 학습 목표(탐색 및 정제)를 효과적으로 결합하여 작동합니다.

•

본 연구에서 제안된 오라클 속도 분석은 기존의 실용적인 기법(예: 타임스텝 이동 스케줄, 분류기 없는 안내 간격)의 효과를 설명하는 새로운 관점을 제공합니다.

•

현재 연구는 특정 흐름 일치(flow matching) 목표에 초점을 맞추고 있으며, 다른 확산 모델 아키텍처나 목표 함수에 대한 일반화 가능성은 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage