# Vanishing Contributions: A Unified Framework for Smooth and Iterative Model Compression

### 저자

Lorenzo Nikiforos, Luciano Prono, Charalampos Antoniadis, Fabio Pareschi, Riccardo Rovatti, Gianluca Setti

### 💡 개요

딥러닝 모델의 압축은 메모리, 연산량, 에너지 소비를 줄이는 데 필수적이지만, 종종 정확도 저하를 야기합니다. 기존의 점진적 압축 방식은 압축 기법마다 다른 접근 방식이 필요하고 미세 조정이 불안정할 수 있다는 단점이 있었습니다. 본 논문은 이러한 문제를 해결하기 위해 압축 모델과 원본 모델을 병렬적으로 함께 학습시키면서 원본 모델의 기여도를 점진적으로 줄이고 압축 모델의 기여도를 늘리는 통합 프레임워크인 Vanishing Contributions (VCON)을 제안합니다.

### 🔑 시사점 및 한계

- VCON은 다양한 압축 기법에 대해 안정적이고 매끄러운 점진적 압축을 가능하게 하여 정확도 저하를 효과적으로 완화합니다.

- 컴퓨터 비전 및 자연어 처리 벤치마크에서 VCON은 기존의 후처리 압축 및 반복적 압축 방식 대비 성능 향상을 보였으며, 특히 일부 설정에서는 15% 이상의 상당한 정확도 향상을 달성했습니다.

- VCON은 기존 압축 기법과의 호환성을 유지하면서 다양한 태스크에 걸쳐 일관되게 성능을 개선할 수 있습니다.

- VCON 프레임워크의 학습 안정성을 더욱 향상시키기 위한 추가적인 연구와 다양한 종류의 압축 기법에 대한 VCON의 적용 범위 확장 가능성을 탐구할 필요가 있습니다.

[PDF 보기](https://arxiv.org/pdf/2510.09696)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).