FAIR-Pruner: A Flexible Framework for Automatic Layer-Wise Pruning via Tolerance of Difference

작성자

Haebom

카테고리

Empty

저자

Chenqing Lin, Mostafa Hussien, Chengyao Yu, Bingyi Jing, Ruixing Ming, Kim Khoa Nguyen, Mohamed Cheriet

💡 개요

본 연구는 딥러닝 모델 압축을 위한 기존 구조적 가지치기(structured pruning)의 비효율적인 희소성(sparsity) 할당 문제를 해결하고자 합니다. 이를 위해 FAIR-Pruner라는 탐색 없는(search-free) 프레임워크를 제안하며, 이는 제거에 유리한 후보 유닛과 작업 민감 유닛을 구분하는 두 가지 내부 계층 순위를 활용합니다. 핵심 메커니즘인 Tolerance of Difference (ToD)는 제거 대상과 보존 대상의 중첩을 측정하고, 이를 통해 계층별로 비균일한 가지치기 깊이를 유도하여 높은 정확도-압축률 균형을 달성합니다.

🔑 시사점 및 한계

•

적응적인 계층별 가지치기: FAIR-Pruner는 각 계층의 특성을 고려하여 최적의 가지치기 깊이를 자동으로 결정함으로써, 기존의 균일한 희소성 할당 방식보다 효과적으로 모델을 압축할 수 있습니다.

•

유연한 평가 지표: Wasserstein 기반 U-Score와 Taylor 기반 R-Score를 포함한 다양한 평가 지표와 쉽게 결합될 수 있어, 다양한 작업 및 모델 아키텍처에 적용 가능합니다.

•

확장 가능한 아키텍처 적용: MoE(Mixture-of-Experts)와 같은 복잡한 모델 아키텍처에서도 동일한 예산 하에 효과적인 가지치기를 수행할 수 있음을 보여주며, 연구의 확장성을 입증합니다.

•

새로운 가지치기 방법론의 필요성: ToD 메커니즘의 이론적 분석은 고무적이지만, 복잡한 모델이나 특정 작업에서 최적의 성능을 보장하기 위한 추가적인 탐색 및 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage