# Can Kernel Methods Explain How the Data Affects Neural Collapse?

### 저자

Vignesh Kothapalli, Tom Tirer

### 개요

본 논문은 과적합 영역에서 신경망 분류기에서 나타나는 '신경 붕괴(NC)' 현상, 특히 클래스 내 변동성 감소인 NC1에 대한 연구를 다룬다. 기존 연구들은 데이터의 영향을 무시하는 단순화된 비제약 특징 모델(UFM)에 기반하여 NC를 분석했으나, 본 논문은 얕은 신경망과 관련된 커널을 이용하여 NC1을 분석하는 방법을 제시한다.  신경망 가우시안 프로세스 커널(NNGP)과 신경 탄젠트 커널(NTK)에 NC1 메트릭을 적용하여 분석하고, 임의 차원의 가우시안 데이터에 대해 NTK가 NNGP보다 더 붕괴된 특징을 나타내지 않음을 보였다. 이는 데이터 독립적인 커널인 NTK가 신경망의 NC 거동을 근사하는 데 한계가 있음을 보여준다.  데이터 고려 가우시안 프로세스 커널을 대안으로 제시하고 실험적으로 검증하였으며, 활성화 함수의 선택이 NC1에 영향을 미침을 이론적, 실험적으로 보였다 (ERF가 ReLU보다 낮은 값을 가짐).

### 시사점, 한계점

- **시사점:**

    - 데이터 고려 커널을 이용한 신경 붕괴 분석의 가능성을 제시하였다.

    - NTK와 같은 데이터 독립적 커널의 한계를 밝히고, 데이터 적응형 커널의 필요성을 강조하였다.

    - 활성화 함수의 선택이 신경 붕괴에 영향을 미침을 이론적, 실험적으로 증명하였다.

- **한계점:**

    - 제안된 데이터 고려 가우시안 프로세스 커널이 얕은 신경망의 추세를 항상 따르지는 않음.

    - 데이터 고려 커널 기반 신경 붕괴 분석에 대한 추가적인 연구가 필요함.

[PDF 보기](https://arxiv.org/pdf/2406.02105)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).