Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity

작성자

Haebom

카테고리

Empty

저자

Vincent-Daniel Yun, Junhyuk Jo, Sunwoo Lee

💡 개요

본 논문은 딥러닝 모델의 크기를 줄이기 위한 원샷 가지치기(one-shot pruning) 시 발생하는 성능 저하 문제를 해결하고자 합니다. 제안된 가중치 집중 정규화(Weight Concentration Regularizer, WCR)는 훈련 단계에서 소수의 중요 파라미터에 에너지를 집중시키고 나머지는 0으로 보내, 가지치기 시 기능적으로 기여도가 낮은 파라미터들이 주로 제거되도록 유도합니다. 이를 통해 LLM 파인튜닝, 이미지 분류, 의료 영상 분할 등 다양한 작업에서 가지치기 강건성(pruning robustness)을 일관되게 향상시켰습니다.

🔑 시사점 및 한계

•

훈련 단계에서의 새로운 정규화 기법을 통해 고밀도 가지치기(high sparsity) 환경에서 모델 성능 저하를 효과적으로 완화할 수 있습니다.

•

제안된 WCR은 기존의 $\ell_1$ 정규화나 DeepHoyer와 달리, 가중치 에너지를 특정 파라미터에 집중시켜 가지치기의 효율성을 높입니다.

•

기존의 가지치기 강건성 최적화 기법들과도 호환되어 성능을 더욱 향상시킬 수 있는 가능성을 보여줍니다.

•

제안된 WCR의 수렴 분석을 제공하지만, 실제 적용 시 최적의 하이퍼파라미터 탐색 및 다양한 모델 아키텍처에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage