Fast Direct: Query-Efficient Online Black-box Guidance for Diffusion-model Target Generation
Created by
- Haebom
Category
Empty
저자
Kim Yong Tan, Yueming Lyu, Ivor Tsang, Yew-Soon Ong
개요
본 논문은 사전 훈련된 확산 모델의 생성 과정을 특정 하위 작업에 맞게 사용자 지정하기 위한 유망한 방향인 유도 확산 모델 생성에 대해 다룹니다. 기존의 유도 확산 모델은 사전 수집된 데이터셋으로 가이드 모델을 훈련하거나 목적 함수가 미분 가능해야 하는 제약이 있습니다. 하지만 실제 작업의 경우, 오프라인 데이터셋이 없거나 인간의 선호도를 고려한 이미지 생성, 신약 개발을 위한 분자 생성, 재료 설계 등과 같이 목적 함수가 미분 불가능한 경우가 많습니다. 따라서, 본 논문에서는 런타임 중에 데이터를 수집하고 블랙박스 목적 함수를 지원할 수 있는 온라인 알고리즘이 필요합니다. 또한, 쿼리 평가가 실제 시나리오에서 비용이 많이 들기 때문에 알고리즘의 쿼리 효율성도 중요합니다. 이 연구에서는 쿼리 효율적인 온라인 블랙박스 타겟 생성을 위한 새로운 간단한 알고리즘인 Fast Direct를 제안합니다. Fast Direct는 데이터 매니폴드에 의사 타겟을 구축하여 보편적인 방향으로 확산 모델의 노이즈 시퀀스를 업데이트하여 쿼리 효율적인 유도 생성을 수행합니다. 12가지 고해상도(1024x1024) 이미지 타겟 생성 작업과 6가지 3D 분자 타겟 생성 작업에 대한 광범위한 실험 결과, 각각 최대 6배에서 10배, 최대 11배에서 44배의 쿼리 효율성 향상을 보였습니다. 구현 코드는 https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct 에서 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
온라인 학습을 통해 오프라인 데이터셋이 없는 실제 환경에서도 블랙박스 목적 함수를 사용한 유도 확산 모델 생성이 가능함을 보임.
◦
기존 방법 대비 쿼리 효율성을 크게 향상시키는 Fast Direct 알고리즘을 제안. (이미지 생성에서 최대 10배, 분자 생성에서 최대 44배 향상)
◦
고해상도 이미지 및 3D 분자 생성 등 다양한 작업에서 효과를 검증.
◦
공개된 코드를 통해 재현성을 확보.
•
한계점:
◦
Fast Direct 알고리즘의 성능은 특정 작업 및 데이터 분포에 따라 달라질 수 있음.
◦
더욱 복잡하거나 다양한 목적 함수에 대한 일반화 성능 평가가 필요.
◦
알고리즘의 계산 복잡도 및 메모리 사용량에 대한 분석이 부족.
