Dynamic Search for Inference-Time Alignment in Diffusion Models
Created by
- Haebom
Category
Empty
저자
Xiner Li, Masatoshi Uehara, Xingyu Su, Gabriele Scalia, Tommaso Biancalani, Aviv Regev, Sergey Levine, Shuiwang Ji
개요
본 논문은 확산 모델의 출력을 원하는 보상 함수와 정렬하는 문제를 다룬다. 특히, 보상 함수가 미분 불가능한 경우에 어려움이 있는데, 기존의 기울기 없는 안내 방법들은 최적의 추론 시간 정렬을 달성하는 데 어려움을 겪는다. 이에 본 논문에서는 추론 시간 정렬을 탐색 문제로 새롭게 정의하고, Dynamic Search for Diffusion (DSearch)를 제안한다. DSearch는 잡음 제거 과정에서 하위 샘플링을 하고 중간 노드 보상을 근사하며, 빔 너비와 트리 확장을 동적으로 조정하여 보상이 높은 생성을 효율적으로 탐색한다. 또한, 잡음 수준에 기반한 적응형 스케줄링과 선행 예측 휴리스틱 함수를 통합하여 중간 결정을 개선한다. 생물학적 서열 설계, 분자 최적화, 이미지 생성 등 다양한 영역에서 기존 방법보다 우수한 보상 최적화 성능을 보여준다.
시사점, 한계점
•
시사점:
◦
확산 모델의 추론 시간 정렬 문제를 탐색 문제로 효과적으로 재구성하였다.
◦
DSearch는 다양한 도메인에서 기존 방법보다 우수한 보상 최적화 성능을 보임으로써, 확산 모델의 응용 범위를 확장할 수 있다.
◦
적응형 스케줄링과 선행 예측 휴리스틱 함수를 통해 중간 결정의 정확성을 향상시켰다.
◦
빔 너비와 트리 확장의 동적 조정을 통해 효율적인 탐색이 가능하다.
•
한계점:
◦
DSearch의 계산 복잡도가 기존 방법보다 높을 수 있다. 하위 샘플링 및 트리 탐색 과정의 계산량이 증가할 수 있다.
◦
보상 함수의 설계에 따라 성능이 크게 달라질 수 있다. 적절한 보상 함수를 설계하는 것은 여전히 중요한 과제이다.
◦
다양한 도메인에서의 일반화 성능에 대한 추가적인 연구가 필요하다. 특정 도메인에 최적화된 DSearch의 파라미터 조정이 필요할 수 있다.
