본 논문은 베이지안 신경망(BNN)의 실제 적용이 저조한 이유를 표준 가우시안 사후 확률 분포가 네트워크 기하구조와 맞지 않고, 고차원에서 KL 항이 불안정하며, 구현이 복잡해짐에도 불구하고 불확실성 개선이 신뢰할 수 없다는 점으로 분석합니다. 이에 저자들은 정규화의 관점에서 문제를 재검토하여 가중치 방향에만 의존하는 von Mises-Fisher 사후 확률 분포를 사용하여 불확실성을 모델링합니다. 이를 통해 고차원 기하구조에서 계층당 하나의 해석 가능한 스칼라 값인 유효 정규화 후 노이즈($\sigma_{\mathrm{eff}}$)를 얻고, 이는 순방향 전달 과정에서 간단한 가산 가우시안 노이즈에 해당하며 닫힌 형태의 간결하고 차원을 고려한 KL을 허용합니다. 농도 $\kappa$와 활성화 분산, 그리고 $\sigma_{\mathrm{eff}}$ 사이의 정확한 닫힌 형태 근사를 도출하여 현대적인 정규화된 아키텍처에 적합하고 정확도를 희생하지 않고 보정을 향상시키는 경량의 구현 가능한 변분 단위를 생성합니다. 고차원에서 안정적인 최적화를 위해 차원 인식이 중요하며, 변분 사후 확률을 네트워크의 고유 기하구조와 정렬함으로써 BNN이 원칙적이고 실용적이며 정확할 수 있음을 보여줍니다.
