SepPrune: Structured Pruning for Efficient Deep Speech Separation
Created by
Haebom
저자
Yuqi Li, Kai Li, Xin Yin, Zhifei Yang, Junhao Dong, Zeyu Dong, Chuanguang Yang, Yingli Tian, Yao Lu
개요
본 논문은 실시간 응용을 위한 저지연 음성 처리에 필수적인 요소인 계산 효율성을 고려하지 않고 분리 품질에만 초점을 맞춘 기존 심층 음성 분리 연구의 한계를 지적하며, 심층 음성 분리 모델의 크기를 줄이고 계산 비용을 절감하기 위해 설계된 최초의 구조적 가지치기 프레임워크인 SepPrune을 제안합니다. SepPrune은 모델의 계산 구조를 분석하여 계산 부하가 가장 큰 계층을 식별하고, 미분 가능한 마스킹 전략을 도입하여 기울기 기반 채널 선택을 가능하게 합니다. 학습된 마스크를 기반으로 SepPrune은 중복 채널을 제거하고 나머지 매개변수를 미세 조정하여 성능을 복구합니다. 광범위한 실험을 통해 SepPrune이 음성 분리 모델에서 채널 가지치기에 상당한 이점을 제공하며 기존 방법보다 우수함을 보여줍니다. 특히, SepPrune으로 가지치기된 모델은 단 한 번의 미세 조정으로 사전 훈련된 모델(수백 에포크에 걸쳐 훈련됨) 성능의 85%를 회복하고, 처음부터 훈련하는 것보다 36배 빠른 수렴을 달성합니다. 코드는 https://github.com/itsnotacie/SepPrune에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
계산 효율성을 고려한 심층 음성 분리 모델 경량화 가능성 제시.
◦
기존 방법보다 우수한 성능을 보이는 새로운 구조적 가지치기 프레임워크 SepPrune 제안.
