Dynamic Search for Inference-Time Alignment in Diffusion Models
Created by
Haebom
저자
Xiner Li, Masatoshi Uehara, Xingyu Su, Gabriele Scalia, Tommaso Biancalani, Aviv Regev, Sergey Levine, Shuiwang Ji
개요
확산 모델은 다양한 분야에서 유망한 생성 능력을 보여주었지만, 특히 보상 함수가 미분 불가능한 경우 원하는 보상 함수와 출력을 정렬하는 것은 여전히 어려운 과제입니다. 몇몇 기울기 없는 안내 방법들이 개발되었지만, 최적의 추론 시간 정렬을 달성하는 데 어려움을 겪는 경우가 많습니다. 본 연구에서는 확산에서의 추론 시간 정렬을 새로운 검색 문제로 규정하고, 잡음 제거 과정에서 하위 샘플링을 하고 중간 노드 보상을 근사하는 Dynamic Search for Diffusion (DSearch)를 제안합니다. 또한, 높은 보상 생성을 효율적으로 탐색하기 위해 빔 너비와 트리 확장을 동적으로 조정합니다. 중간 결정을 개선하기 위해 DSearch는 잡음 수준을 기반으로 하는 적응형 스케줄링과 선행 예측 휴리스틱 함수를 통합합니다. 생물학적 서열 설계, 분자 최적화 및 이미지 생성을 포함한 여러 영역에서 DSearch를 검증하여 기존 방법보다 우수한 보상 최적화를 보여줍니다.
시사점, 한계점
•
시사점:
◦
확산 모델의 추론 시간 정렬 문제를 효과적으로 해결하는 새로운 방법(DSearch) 제시.
◦
미분 불가능한 보상 함수에도 적용 가능한 일반적인 프레임워크 제공.
◦
생물학적 서열 설계, 분자 최적화, 이미지 생성 등 다양한 분야에서 기존 방법보다 우수한 성능을 입증.
