본 논문은 무작위로 초기화된 다층 퍼셉트론(MLP)을 입력에 대한 해밀토니안으로 보고, 무한한 너비의 극한에서 유도된 에너지 지형의 특성, 특히 준-전역 최소값의 구조를 연구합니다. 복제 트릭을 이용하여 주어진 에너지에서 엔트로피(공간의 로그 부피)를 정확하게 계산하고, 무작위 MLP에 의해 유도된 Gibbs 분포에서 독립적으로 추출된 입력 간의 중첩을 기술하는 안장점 방정식을 유도합니다. 선형 활성화 함수의 경우 안장점 방정식을 정확하게 풀고, 다양한 깊이와 활성화 함수(tanh, sin, ReLU 등)에 대해 수치적으로 풉니다. 무한한 너비에서도 다양한 행동이 나타남을 발견하며, 예를 들어 sin과 같은 일부 비선형성의 경우 무작위 MLP의 지형이 완전한 복제 대칭 깨짐을 나타내는 반면, 얕은 tanh 및 ReLU 네트워크 또는 깊은 형태의 MLP는 복제 대칭을 나타냅니다.
