본 논문은 비전 트랜스포머(ViT) 기반 오디오 분류 모델에 토큰 프루닝 기법을 최초로 적용하여 계산 비용 절감과 성능 저하 간의 절충 관계를 분석한 연구입니다. Mel-spectrogram을 사용하여 오디오 데이터를 처리하고, TopK 토큰 프루닝을 통해 AudioMAE와 AST 모델의 MAC 연산을 30-40% 감소시키면서 정확도 저하는 1% 미만으로 유지하는 결과를 보였습니다. 분석 결과, 강한 세기 또는 높은 변화량을 가진 토큰뿐만 아니라 낮은 세기 또는 낮은 변화량을 가진 토큰도 중요한 역할을 한다는 것을 밝혔으며, 어텐션 점수와 통계적 특징 간의 높은 상관관계를 통해 이를 뒷받침했습니다. 또한 AudioMAE가 AST보다 더 많은 저강도 토큰을 유지하는 경향을 보이는데, 이는 AudioMAE의 자기 지도 학습 방식 때문으로 분석했습니다.
