역전파(BP)는 딥러닝의 기반이지만, 전역적 기울기 동기화에 의존하여 확장성이 제한되고 상당한 메모리 오버헤드가 발생합니다. 본 논문에서는 계층적 변분 추론으로 훈련을 재구성하는 확장 가능한 대안인 확률적 변분 전파(SVP)를 제안합니다. SVP는 계층 활성화를 잠재 변수로 취급하고 국지적 증거 하한(ELBO)을 최적화하여 전역적 일관성을 유지하면서 독립적인 국지적 업데이트를 가능하게 합니다. 하지만 계층별 ELBO에서 KL divergence를 직접 적용하면 과도한 압축으로 인해 계층 간 표현이 붕괴될 위험이 있습니다. 이를 방지하기 위해 SVP는 고정된 랜덤 행렬을 통해 활성화를 저차원 공간으로 투영하여 정보 보존과 표현 다양성을 보장합니다. 계층 간 일관성을 위한 특징 정렬 손실과 결합하여 SVP는 다양한 아키텍처(MLP, CNN, Transformer)와 데이터셋(MNIST부터 ImageNet까지)에서 BP와 경쟁력 있는 정확도를 달성하고, 메모리 사용량을 최대 4배까지 줄이며 확장성을 크게 향상시킵니다. 더 넓게 보면, SVP는 딥 표현 학습에 확률적 관점을 도입하여 더욱 모듈화되고 해석 가능한 신경망 설계를 위한 경로를 열어줍니다.
