# Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse

### 저자

Kun He, Zijian Song, Shuoxi Zhang, John E. Hopcroft

### 개요

본 논문은 사전 훈련된 모델(PTM) 기반의 클래스 증분 학습(CIL)에서 특징의 진화와 분포를 이해하는 데 초점을 맞추고 있습니다.  특히, 신경 붕괴(NC) 현상에 주목하여,  NC의 기하학적 구조와 CIL의 효과성 간의 연관성을 탐구합니다.  NC는 훈련의 최종 단계에서 나타나는 현상으로, 잘 분리되고 등각적인 특징 공간을 생성합니다.  논문에서는 NC 구조에 특징 공간을 동적으로 조정하는 NCPTM-CIL (Neural Collapse-inspired Pre-Trained Model-based CIL) 방법을 제안합니다.  실험 결과, NCPTM-CIL은 네 개의 벤치마크 데이터셋에서 최첨단 방법들을 능가하는 성능을 보였습니다.  예를 들어, ViT-B/16-IN1K로 초기화했을 때, VTAB에서 6.73%, CIFAR-100에서 1.25%, OmniBenchmark에서 2.5%의 성능 향상을 보였습니다.

### 시사점, 한계점

- **시사점:**

    - 신경 붕괴(NC) 현상을 활용하여 PTM 기반 CIL의 성능을 향상시킬 수 있음을 보여줍니다.

    - NC 기반의 새로운 CIL 방법인 NCPTM-CIL을 제안하고, 그 효과성을 실험적으로 검증합니다.

    - 다양한 벤치마크 데이터셋에서 최첨단 성능을 달성합니다.

- **한계점:**

    - 제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.

    - 다양한 PTM 아키텍처와 데이터셋에 대한 추가적인 실험이 필요합니다.

    - 신경 붕괴 현상과 CIL 간의 관계에 대한 이론적인 분석이 부족할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2504.18437)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).