과매개화된 심층 신경망(DNN)의 놀라운 성능은 네트워크 구조, 훈련 알고리즘, 그리고 데이터의 구조 간의 상호작용으로부터 발생합니다. 이 논문은 지도 학습에 대한 베이지안 관점을 적용하여 이 세 가지 구성 요소를 분리합니다. 함수에 대한 사전 확률은 네트워크에 의해 결정되며, 순서 체제와 혼돈 체제 간의 전이를 활용하여 변화합니다. 부울 함수 분류의 경우, 데이터 상의 함수의 오류 스펙트럼을 사용하여 가능도를 근사합니다. 사전 확률과 결합하면 이는 확률적 경사 하강법으로 훈련된 DNN에 대해 측정된 사후 확률을 정확하게 예측합니다. 이 분석은 구조화된 데이터와 (Kolmogorov) 단순 함수에 대한 내재적인 오컴의 면도날과 같은 귀납적 편향(복잡성에 따른 함수 수의 지수적 증가를 상쇄할 만큼 충분히 강력함)이 DNN의 성공에 중요한 요소임을 밝힙니다.
