본 논문은 과매개화된 심층 학습 모델이 명시적인 규제 없이도 놀라울 정도로 잘 일반화되는 현상에 대해, 아키텍처, 하이퍼파라미터, 그리고 최적화 절차의 선택에 의해 부여되는 암시적 규제에 기인한다는 기존 이론에 대한 추가 연구를 제시합니다. 불확실성 정량화의 필요성을 충족시켜야 하는 베이지안 심층 학습의 어려움(유용한 명시적 귀납적 편향을 사전 확률을 통해 정의하는 어려움 및 계산 부하)을 해결하기 위해, 본 논문은 변분 심층 신경망을 표준 심층 학습과 마찬가지로 최적화 절차를 통해 암시적으로 규제하는 방법을 이론적 및 실험적으로 제시합니다. 과매개화된 선형 모델에서 (확률적) 경사 하강법의 귀납적 편향을 일반화된 변분 추론으로 완전히 특징짓고, 매개변수화 선택의 중요성을 보여줍니다. 추가 하이퍼파라미터 조정 없이, 표준 심층 학습에 비해 최소한의 시간 및 메모리 오버헤드로 강력한 분포 내 및 분포 외 성능을 달성함을 실험적으로 보여줍니다.
