본 논문은 기존의 희소 자동 인코더(SAE) 및 변형 자동 인코더(VAE)의 한계점을 공식화하고, 이를 극복하는 새로운 하이브리드 모델을 제안합니다. 기존 SAE와 VAE는 저차원 잠재 구조를 모델링하는 데 능력이 있지만, 잠재 공간에서의 희소성 제약 조건 등의 한계를 지니고 있습니다. 본 논문에서 제안하는 하이브리드 모델은 이러한 한계를 극복하여 다양체(manifold) 데이터에 대한 잠재 차원을 정확하게 추정하고, 재구성 오류를 저하시키지 않으면서 더욱 희소한 잠재 표현을 생성합니다. 이론적으로는 제안된 모델의 전역 최소점이 특정 형태의 구조화된 데이터를 복구한다는 것을 증명하고, 합성 및 실제 데이터셋에 대한 실험적 평가를 통해 이미지 및 언어 모델 활성화 패턴과 같은 영역에서 기존 SAE, VAE 및 최근 확산 모델보다 우수한 성능을 보임을 입증합니다.
