Smooth InfoMax (SIM)은 신경망의 다양한 깊이에서 학습된 표현에 해석 가능성 제약 조건을 통합하는 새로운 자기 지도 학습 방법입니다. SIM의 아키텍처는 확률적 모듈로 나뉘며, 각 모듈은 InfoNCE bound를 사용하여 국소적으로 최적화됩니다. VAE에서 영감을 받아, 이러한 모듈의 표현은 가우시안 분포의 샘플로 설계되고 표준 정규 분포에 가깝도록 제약됩니다. 이는 매끄럽고 예측 가능한 공간을 생성하여 디코더를 통해 잠재 공간을 탐색하고 학습된 표현의 사후 분석을 용이하게 합니다. 순차적 음성 데이터에 대한 SIM의 성능을 평가한 결과, 해석 가능성이 낮은 대응 방법인 Greedy InfoMax (GIM)과 경쟁력 있는 성능을 보였습니다. 또한, SIM의 내부 표현에 대한 통찰력을 제공하여, 포함된 정보가 표현 전체에 걸쳐 덜 얽혀 있고 차원의 작은 하위 집합에 더 집중되어 있음을 보여줍니다. 이는 SIM의 향상된 해석 가능성을 더욱 강조합니다.
