본 논문은 기존 구조적 가지치기 방법의 두 가지 주요 한계점, 즉 (i) 세밀한 수준(예: 채널)으로 가지치기를 제한하여 공격적인 매개변수 감소가 어렵고, (ii) 지연 시간을 고려하는 기존 방법들이 단순하고 최적이 아닌 선형 모델에 의존하여 여러 상호 작용하는 차원이 지연 시간에 영향을 미치는 트랜스포머에 일반화되지 못하는 점을 해결하기 위해 제안되었다. 이를 위해 다차원 가지치기(MDP)라는 새로운 패러다임을 제시하는데, 이는 채널, 쿼리, 키, 헤드, 임베딩, 블록 등 다양한 가지치기 세분성에 걸쳐 공동으로 최적화한다. MDP는 고급 지연 시간 모델링 기법을 사용하여 모든 가지치기 가능한 차원에서 지연 시간 변화를 정확하게 포착하여 지연 시간과 정확도 간의 최적 균형을 달성한다. 가지치기를 혼합 정수 비선형 계획법(MINLP)으로 재구성하여 MDP는 지연 시간 제약 조건을 준수하면서 모든 가지치기 가능한 차원에서 최적의 가지치기 구조를 효율적으로 식별한다. 이 다목적 프레임워크는 CNN과 트랜스포머 모두를 지원한다. 광범위한 실험을 통해 MDP가 특히 높은 가지치기 비율에서 이전 방법보다 훨씬 우수한 성능을 보임을 보여준다. ImageNet에서 MDP는 ResNet50 가지치기에 대해 기존 방법인 HALP보다 28%의 속도 향상과 +1.4 Top-1 정확도 향상을 달성했다. 최신 트랜스포머 가지치기 방법인 Isomorphic에 비해 MDP는 +0.7 Top-1 정확도 향상과 함께 추가로 37%의 가속화를 제공한다.
