본 논문은 과적합 상태(훈련 시간이 무한대로 접근할 때)에서 완전 연결 신경망(FCN)과 잔차 신경망(ResNet)이 Neural Tangent Kernel (NTK) 기반의 커널 로지스틱 회귀로 근사될 수 없음을 보여줍니다. 교차 엔트로피 손실을 사용하는 경우, 네트워크 너비가 얼마나 크든(유한한 한), 훈련 시간이 증가함에 따라 경험적 NTK는 훈련 샘플의 NTK에서 발산합니다. 이를 위해 논문은 먼저 다층 FCN과 ResNet에 대한 NTK의 엄격한 양의 정부호성을 증명하고, 훈련 중 교차 엔트로피 손실을 사용할 때, 훈련 샘플에 대한 경험적 NTK 행렬(그램 행렬)의 가장 작은 고유값이 양의 상수로 아래에서 경계가 지정되면 신경망 매개변수가 발산함을 증명합니다. 이러한 행동은 회귀 문제에서 일반적으로 관찰되는 지연 훈련 체제와는 극명하게 대조됩니다. 따라서 귀류법을 사용하여 네트워크 너비가 증가함에 따라 경험적 NTK가 모든 시간에 걸쳐 훈련 샘플에서 NTK로 균일하게 수렴하지 않음을 보여줍니다. 합성 데이터와 MNIST 분류 작업에 대한 실험을 통해 이론적 결과를 검증합니다. 이러한 발견은 NTK 이론이 이러한 맥락에서는 적용될 수 없음을 의미하며, 분류 문제에서 신경망을 이해하는 데 중요한 이론적 함의를 갖습니다.
