Stochastic Variational Propagation (SVP)는 기존 역전파(BP)의 확장성 및 메모리 오버헤드 문제를 해결하기 위해 계층적 변분 추론으로 딥러닝 훈련을 재구성하는 새로운 방법입니다. SVP는 각 계층의 활성화를 잠재 변수로 취급하고, 국소적인 Evidence Lower Bounds (ELBOs)를 최적화하여 독립적인 국소 업데이트를 가능하게 하면서 전역적 일관성을 유지합니다. 계층 간 표현 붕괴를 방지하기 위해, 고정된 랜덤 행렬을 이용하여 활성화를 저차원 공간으로 투영하고, 계층 간 일관성을 위한 특징 정렬 손실을 추가합니다. 다양한 아키텍처(MLP, CNN, Transformer)와 데이터셋(MNIST부터 ImageNet까지)에서 BP와 비교하여 경쟁력 있는 정확도를 달성하며, 메모리 사용량을 최대 4배까지 줄이고 확장성을 크게 향상시킵니다. 더 나아가, SVP는 딥러닝 표현 학습에 확률적 관점을 도입하여 더욱 모듈화되고 해석 가능한 신경망 설계를 위한 새로운 가능성을 제시합니다.
