본 논문은 딥 뉴럴 네트워크(DNN) 초기화 시의 통계적 특성을 이해하는 것이 학습 가능성과 내재적 구조적 편향을 밝히는 데 중요하다고 주장한다. 평균장(MF) 분석을 통해 무작위로 초기화된 네트워크의 매개변수 분포가 기울기 소실 또는 폭발을 결정함을 보여준다. 또한, 학습되지 않은 DNN이 입력 공간의 큰 영역을 단일 클래스에 할당하는 초기 추측 편향(IGB)을 나타냄을 보여준다. 본 연구에서는 IGB를 MF 분석과 연결하는 이론적 증명을 제시하여, 특정 클래스에 대한 네트워크의 성향이 효율적인 학습 조건과 본질적으로 관련되어 있음을 확립한다. 이는 학습 가능성을 최적화하는 초기화가 중립적이지 않고 체계적으로 편향되어 있다는 역설적인 결론으로 이어진다. 다중 아키텍처 및 데이터 세트에 걸친 실험을 통해 이론을 검증한다.
