Improving Classifier-Free Guidance of Flow Matching via Manifold Projection

작성자

Haebom

카테고리

Empty

저자

Jian-Feng Cai, Haixia Liu, Zhengyi Su, Chao Wang

💡 개요

본 논문은 확산 및 흐름 기반 모델의 제어 가능한 생성을 위해 널리 사용되는 Classifier-Free Guidance (CFG) 기법의 근본적인 문제를 해결하고자 합니다. 기존 CFG는 경험적인 선형 외삽에 의존하여 guidance scale에 민감하다는 단점이 있었으나, 본 연구에서는 CFG를 최적화 관점에서 해석하여 이를 개선하는 새로운 manifold projection 기반의 homotopy optimization 기법을 제안합니다. 이를 통해 제안된 방법론은 추가 학습 없이도 생성 충실도, 프롬프트 정렬, guidance scale에 대한 강건성을 향상시키며, DiT-XL-2-256, Flux, Stable Diffusion 3.5와 같은 대규모 모델에서 효과를 입증했습니다.

🔑 시사점 및 한계

•

CFG를 최적화 문제로 재해석하여 기존 기법의 한계를 극복하는 이론적 근거를 제시했습니다.

•

manifold projection을 활용한 새로운 CFG 샘플링 기법은 생성 품질을 실질적으로 향상시키고 guidance scale에 대한 민감성을 줄였습니다.

•

제안된 방법론은 추가적인 모델 학습 없이 적용 가능하며, 다양한 대규모 모델에 대한 실험을 통해 그 효과를 입증했습니다.

•

현재 제안된 manifold projection 방식은 계산 효율성 및 안정성 측면에서 Anderson Acceleration 등을 활용하여 개선되었으나, 복잡한 manifold 구조나 매우 높은 차원의 데이터에서는 여전히 계산량이 많거나 최적화가 어려울 수 있습니다.

PDF 보기

Made with Slashpage