Amirmojtaba Sabour, Michael S. Albergo, Carles Domingo-Enrich, Nicholas M. Boffi, Sanja Fidler, Karsten Kreis, Eric Vanden-Eijnden
개요
확산 모델의 성능을 향상시키기 위해 사용자 지정 보상을 활용하는 일반적인 방법은 생성 과정의 종착점에서 정의되는 보상의 그래디언트를 확산 모델에 통합하는 것이다. 본 논문은 흐름 맵을 직접 사용하여 이 문제를 해결하는 간단한 솔루션을 제시한다. 흐름 맵과 순간 수송을 제어하는 속도장의 관계를 활용하여, Flow Map Trajectory Tilting (FMTT) 알고리즘을 개발했다. FMTT는 보상의 그래디언트를 사용하는 표준 테스트 시간 방법보다 보상에 대해 더 나은 상승을 보장한다. 이 접근 방식은 중요도 가중치를 이용한 정확한 샘플링 또는 보상 기울어진 분포의 로컬 극대점을 식별하는 원칙적인 검색에 사용될 수 있다. 제안된 방법은 다른 사전 조사 기술에 비해 효율성을 입증하며, 흐름 맵을 통해 새로운 형태의 이미지 편집 (예: 비전 언어 모델과의 연동)이 가능하게 하는 복잡한 보상 함수와의 상호 작용을 가능하게 함을 보여준다.
시사점, 한계점
•
시사점:
◦
FMTT 알고리즘은 보상의 그래디언트를 사용하는 기존 방법보다 보상에 대해 더 나은 상승을 보인다.
