Stitched Value Model for Diffusion Alignment

작성자

Haebom

카테고리

Empty

저자

Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

💡 개요

생성 모델의 실용적 활용을 위해 프롬프트 충실도나 미적 선호도와 같은 작업별 보상과의 정렬이 중요하지만, 이는 노이즈가 있는 중간 잠재 공간에서의 값 함수 추정치의 어려움으로 인해 복잡합니다. 본 논문에서는 사전 훈련된 이미지 보상 모델을 노이즈 잠재 공간으로 효율적으로 이전하는 StitchVM이라는 모델 스티칭 프레임워크를 제안합니다. StitchVM은 기존 픽셀 공간 보상 모델에 동결된 확산 백본을 연결하여 가볍고 효율적으로 사전 훈련된 보상 기능을 유지하면서 노이즈 잠재 공간을 처리하는 능력을 상속받습니다.

🔑 시사점 및 한계

•

사전 훈련된 픽셀 공간 보상 모델을 노이즈 잠재 공간으로 효율적으로 이전하여 생성 모델 정렬을 개선할 수 있습니다.

•

StitchVM은 적은 컴퓨팅 자원으로 높은 성능을 달성하며, DPS 및 DiffusionNFT와 같은 기존 방법론의 속도와 메모리 효율성을 크게 향상시킵니다.

•

픽셀 공간 보상 모델의 성능과 확산 백본의 노이즈 처리 능력이 StitchVM의 성공에 중요한 역할을 합니다.

•

이 방법론의 한계점으로는 보상 모델의 근본적인 편향이 잠재 공간으로 이전될 수 있으며, 다양한 확산 모델 및 보상 모델 아키텍처에 대한 일반화 성능을 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage