본 논문은 대규모 언어 모델(LLM)의 어텐션 메커니즘의 이차적 계산 복잡도로 인해 장문 추론에서 어려움을 겪는 문제를 해결하기 위해, 토큰의 중요도에 따라 토큰을 점진적이고 동적으로 제거하는 새로운 토큰 가지치기 프레임워크인 Saliency-driven Dynamic Token Pruning (SDTP)을 제안합니다. SDTP는 경량의 saliency-driven 예측 모듈을 사용하여 각 토큰의 중요도 점수를 추정하고, 이를 LLM의 여러 계층에 추가하여 계층적으로 불필요한 토큰을 제거합니다. 또한, saliency 점수와 예측된 중요도 점수의 순위 차이를 최소화하기 위한 순위 기반 최적화 전략을 제안합니다. 다양한 모델과 데이터셋에 대한 실험 결과, 제안된 방법은 일반화 가능성이 높으며, 입력 토큰의 65%를 제거하여 FLOPs를 33%~47% 감소시키고 추론 속도를 최대 1.75배 향상시키면서 성능을 유지함을 보여줍니다. 더 나아가 SDTP는 KV 캐시 압축 방법과 결합하여 추가적인 압축 효과를 얻을 수 있음을 보여줍니다.
