본 논문은 신경망이 표현을 학습하는 방법에 대한 이해라는 심층 학습의 중심적인 과제를 다룬다. 주요 접근 방식으로는 특징 학습이 발생하는 메커니즘에 대한 추측인 신경 특징 가설(NFA)(Radhakrishnan et al. 2024)이 있다. NFA는 경험적으로 검증되었지만 이론적 근거가 부족하여 실패할 수 있는 시점과 개선 방법이 불분명하다. 본 논문은 이 관찰이 성립하는 이유와 성립하지 않는 경우를 이해하기 위해 제일 원리 접근 방식을 사용한다. 제1차 최적화 조건을 사용하여 NFA의 대안인 수렴 시 특징 정리(FACT)를 유도한다. FACT는 (a) 수렴 시 학습된 특징과 더 큰 일치를 얻고, (b) 대부분의 설정에서 NFA가 성립하는 이유를 설명하며, (c) 모듈러 산술의 그로킹 동작 및 희소 패리티 학습의 상전이와 같이 신경망에서 필수적인 특징 학습 현상을 NFA와 유사하게 포착한다. 따라서 본 연구 결과는 신경망의 이론적 제1차 최적화 분석과 경험적으로 주도되는 NFA 문헌을 통합하고, 수렴 시 증명 가능하고 경험적으로 성립하는 원칙적인 대안을 제공한다.
