본 논문은 신경망의 내부 구조를 이해하는 심층 학습 해석성의 근본적인 과제에 대해 다룬다. 연구진은 새로운 Sparse Mixture of Experts Variational Autoencoder (SMoE-VAE) 아키텍처를 탐구하여 이 문제에 접근한다. QuickDraw 데이터셋을 사용하여 지도 학습 기준과 비교하여 비지도 학습 전문가 라우팅을 테스트한다. 놀랍게도, 비지도 학습 라우팅이 일관되게 우수한 재구성 성능을 달성하는 것으로 나타났다. 전문가들은 종종 인간이 정의한 클래스 경계를 넘어서는 의미있는 하위 범주 구조를 식별하도록 학습한다. t-SNE 시각화 및 재구성 분석을 통해 MoE 모델이 미리 정의된 레이블보다 모델의 목표에 더 부합하는 기본 데이터 구조를 어떻게 발견하는지 조사한다. 또한, 데이터셋 크기의 영향에 대한 연구는 데이터 양과 전문가 특수화 간의 절충점에 대한 통찰력을 제공하여 효율적인 MoE 아키텍처 설계를 위한 지침을 제시한다.
