Sign In

Psi-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models

Created by
  • Haebom
Category
Empty

저자

Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung

개요

$\Psi$-Sampler는 score-based 생성 모델을 활용하여 효과적인 추론 시 보상 정렬을 위한 SMC 기반 프레임워크입니다. pCNL 기반 초기 입자 샘플링을 통합하여, 기존 Gaussian prior에서 초기화하는 방식의 비효율성을 개선하고, 보상 관련 영역을 효과적으로 포착합니다. pCNL 알고리즘은 고차원 잠재 공간에서 효율적인 사후 샘플링을 가능하게 하며, 레이아웃-이미지 생성, 수량 인식 생성, 미적 선호도 생성 등 다양한 보상 정렬 작업에서 성능을 향상시킵니다.

시사점, 한계점

SMC와 pCNL 알고리즘을 결합하여 score-based 생성 모델의 보상 정렬 성능을 개선.
보상 관련 영역을 더 효과적으로 포착하여 샘플링 효율성 향상.
다양한 보상 정렬 작업에서 일관된 성능 향상.
논문의 구체적인 한계점은 명시되지 않음.
👍