본 논문은 신경망의 가중치 공간에서 등방성 가우시안 근사를 사용하는 기존의 변분 추론 방법들이 신경망의 고유 기하학과 잘 맞지 않는다는 문제를 해결하기 위해, 가중치 불확실성을 단위 초구면 상에서 직접적으로 von Mises-Fisher 분포를 사용하여 모델링하는 변분 프레임워크인 Concentration-Adapted Perturbations (CAP)을 제안합니다. 방사형-방향 사후 분해 및 구면 가중치 제약에 대한 최근 연구를 기반으로, CAP는 방향 통계를 신경망의 실용적인 잡음 규제와 연결하는 최초의 완전한 이론적 프레임워크를 제공합니다. 핵심적인 기여는 vMF 농도 매개변수를 활성화 잡음 분산과 연결하는 분석적 도출을 통해 각 계층이 새로운 폐쇄형 KL 발산 규제자를 통해 최적의 불확실성 수준을 학습할 수 있도록 하는 것입니다. CIFAR-10 실험에서 CAP는 예상 교정 오차를 5.6배 감소시키는 등 모델 교정을 크게 향상시키는 동시에 해석 가능한 계층별 불확실성 프로파일을 제공합니다. CAP는 최소한의 계산 오버헤드를 필요로 하며 표준 아키텍처에 원활하게 통합되어 심층 학습에서 불확실성 정량화에 대한 이론적으로 근거 있고 실용적인 접근 방식을 제공합니다.
