Transformers can do Bayesian Clustering
Created by
- Haebom
Category
Empty
저자
Prajit Bhaskaran, Tom Viering
개요
Cluster-PFN은 Prior-Data Fitted Networks (PFNs)를 확장하여 비지도 Bayesian 클러스터링을 수행하는 Transformer 기반 모델입니다. 유한 혼합 가우시안 모델(GMM) 사전 분포에서 생성된 합성 데이터셋으로 훈련되어 클러스터 수와 클러스터 할당에 대한 사후 분포를 추정합니다. AIC, BIC, Variational Inference (VI)와 같은 수작업 모델 선택 절차보다 클러스터 수를 더 정확하게 추정하며, VI와 경쟁하는 클러스터링 품질을 유지하면서도 속도는 수십 배 빠릅니다. 또한, 결측 데이터가 포함된 복잡한 사전 분포에서도 훈련 가능하며, 실제 유전체 데이터셋에서 imputation 기반 baseline보다 우수한 성능을 보입니다.
시사점, 한계점
•
확장 가능한 Bayesian 클러스터링을 제공합니다.
•
클러스터 수 추정의 정확성을 향상시킵니다.
•
클러스터링 속도가 빠릅니다.
•
결측 데이터가 있는 데이터셋 처리 능력이 뛰어납니다.
•
Transformer 기반 모델이므로 계산 비용이 높을 수 있습니다.
•
모델의 성능은 합성 데이터셋의 품질에 의존적일 수 있습니다.
