본 논문은 폭이 넓은 심층 신경망의 학습 과정에 대한 완전한 이론적 틀을 제공하고자, Neural Tangent Kernel (NTK) 이론과 Bayesian Neural Network Gaussian Process (NNGP) 이론을 통합하는 새로운 이론적 틀을 제시합니다. 앙상블된 폭이 넓은 심층 신경망에 추가적인 노이즈를 포함한 경사하강법 학습을 이용하여, 신경망의 입력-출력 함수에 대한 분석적 이론을 구성하고, 새로운 시간 의존적인 Neural Dynamical Kernel (NDK)을 도입합니다. 이 NDK는 NTK와 NNGP 커널을 모두 유도할 수 있습니다. 학습 과정은 손실 최소화가 지배적인 경사도 기반 학습 단계와, 매개변수가 해 공간을 샘플링하는 느린 확산 학습 단계의 두 단계로 구분됩니다. 두 단계 모두 초기화 분산과 노이즈, 베이지안 사전 분산이 성능에 큰 영향을 미치며, 특히 시그모이드 뉴런에서 그 영향이 큽니다. 초기 단계에서 평균 예측값의 지수적 수렴과 달리, 평형 상태로의 수렴은 더 복잡하고 비단조적으로 행동할 수 있습니다. 확산 단계를 특징짓는 것을 통해, 본 연구는 뇌에서 나타나는 표상 이동을 설명하고, 지속적인 신경 활동 변화가 성능 저하 없이 어떻게 가능한지(다양한 시냅스의 이동을 동기화하는 지속적인 경사 신호 또는 이동 과정에 강인한 작업 관련 정보를 생성하는 구조적 편향을 통해) 설명합니다. 결론적으로, 본 연구는 NTK와 NNGP 이론 사이의 격차를 해소하고, 폭이 넓은 심층 신경망의 학습 과정과 생물학적 회로의 동역학 분석을 위한 포괄적인 틀을 제공합니다.
