본 논문은 심층 신경망의 마지막 이전 계층에서 훈련 데이터의 특징 표현에 나타나는 놀라운 대칭성인 신경 붕괴(neural collapse)의 이론적 이해를 목표로 합니다. 기존 연구는 데이터와 무관한 모델에 초점을 맞추거나, 데이터 구조를 고려하더라도 다층 퍼셉트론(MLP)에 국한되어 있었습니다. 본 논문은 데이터를 고려한 환경에서 최신 아키텍처를 분석함으로써 이러한 두 가지 간극을 메웁니다. 교차 엔트로피 또는 평균 제곱 오차 손실로 훈련된 LayerNorm이 있는 심층 규제 트랜스포머와 ResNet의 전역 최적점이 근사적으로 붕괴됨을 증명하고, 깊이가 증가함에 따라 근사가 더욱 정확해짐을 보입니다. 더 일반적으로, 모든 종단 간 대규모 ResNet 또는 트랜스포머 훈련을 등가의 무제약 특징 모델로 공식적으로 축소하여, 데이터와 무관한 설정을 넘어서도 문헌에서의 광범위한 사용을 정당화합니다. 이론적 결과는 컴퓨터 비전 및 언어 데이터 집합에 대한 실험으로 뒷받침되며, 깊이가 증가함에 따라 신경 붕괴가 더욱 두드러짐을 보여줍니다.
