본 논문은 신경망의 추론 지연 시간과 전력 소비를 줄이기 위한 네트워크 가지치기(pruning) 기법인 Hyperflux를 제안합니다. 기존의 가지치기 방법들이 주로 경험적 결과에 의존하는 반면, Hyperflux는 각 가중치의 중요도를 가중치 제거에 대한 기울기의 반응(flux)으로 추정하는 개념적으로 탄탄한 L0 가지치기 접근 방식입니다. 전역 압력(pressure) 항을 통해 모든 가중치를 지속적으로 가지치기 방향으로 유도하고, 정확도에 중요한 가중치는 flux에 따라 자동으로 재성장합니다. 본 논문에서는 Hyperflux 프레임워크에서 자연스럽게 도출되는 몇 가지 특성을 제시하고 실험적으로 검증하며, 최종 sparsity와 pressure 간의 관계를 설명하는 일반화된 스케일링 법칙 방정식을 유도하여 sparsity 제어 스케줄러를 설계합니다. 실험 결과, CIFAR-10 및 CIFAR-100 데이터셋에서 ResNet-50 및 VGG-19를 사용하여 최첨단 결과를 보여줍니다.
