본 논문은 경험적 신경 접선 커널(eNTK)의 고유값 분석을 통해 훈련된 신경망이 사용하는 특징을 파악할 수 있다는 증거를 제시한다. 기계적 해석 가능성을 위한 두 가지 표준 장난감 모델인 Superposition의 장난감 모델(TMS)과 모듈식 덧셈에 대해 훈련된 1-layer MLP를 통해 eNTK가 상위 고유 공간이 진실 특징과 일치하는 급격한 스펙트럼 절벽을 나타낸다는 것을 발견했다. TMS에서 eNTK는 희소(고도의 중첩) 및 밀집 영역에서 진실 특징을 모두 복구한다. 모듈식 산술 연산에서 eNTK는 푸리에 특징 패밀리를 복구하는 데 사용할 수 있다. 또한, 계층별 eNTK가 특징을 특정 계층으로 국한시키고 eNTK 스펙트럼의 진화가 grokking 위상 변환을 진단하는 데 사용될 수 있다는 증거를 제공한다. 이러한 결과는 eNTK 분석이 작은 모델에서 특징 발견 및 위상 변화 감지를 위한 실용적인 수단을 제공할 수 있음을 시사한다.
