Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Navigation to Refinement: Revealing the Two-Stage Nature of Flow-based Diffusion Models through Oracle Velocity

Created by
  • Haebom
Category
Empty

저자

Haoming Liu, Jinnuo Liu, Yanhao Li, Liuyang Bai, Yunkai Ji, Yuanhe Guo, Shenji Wan, Hongyi Wen

개요

흐름 기반 확산 모델은 이미지 및 비디오 생성 모델 훈련에 널리 사용되지만, 기억과 일반화 간의 관계는 잘 알려지지 않았습니다. 이 연구는 흐름 매칭 (FM) 목표를 재검토하고, 정확한 오라클 FM 타겟을 계산할 수 있는 닫힌 형식의 표현을 갖는 주변 속도장을 연구했습니다. 분석 결과, 흐름 기반 확산 모델은 두 단계의 훈련 목표를 가짐을 발견했습니다. 초기 단계는 데이터 모드의 혼합에 의해 안내되고, 후기 단계는 가장 가까운 데이터 샘플에 의해 지배됩니다. 이 두 단계 목표는 서로 다른 학습 동작을 이끌어냅니다. 초기 단계는 전반적인 레이아웃을 형성하기 위해 데이터 모드에 걸쳐 일반화하고, 후기 단계는 세밀한 세부 사항을 점점 더 기억합니다. 이러한 통찰력을 바탕으로 시간 단계 이동 스케줄, 분류기 없는 가이드 간격 및 잠재 공간 설계 선택과 같은 실제 기술의 효과를 설명합니다. 이 연구는 확산 모델 훈련 역학에 대한 이해를 높이고, 향후 아키텍처 및 알고리즘 개선을 위한 원리를 제공합니다.

시사점, 한계점

흐름 기반 확산 모델의 훈련 역학에 대한 이해를 심화시킴.
두 단계 훈련 목표를 통해 일반화와 기억 사이의 균형을 설명.
시간 단계 이동, 분류기 없는 가이드, 잠재 공간 디자인과 같은 기술의 효과를 설명.
향후 아키텍처 및 알고리즘 개선을 위한 원리 제공.
본 논문 자체의 한계점은 명시되지 않음.
👍