본 논문은 대규모 언어 모델(LLM)의 높은 계산 및 메모리 비용 문제를 해결하기 위해, prefill-decode (PD) 분할 추론에 특화된 새로운 모델 가지치기 방법을 제안합니다. 기존 방법들이 PD 분할의 특징을 고려하지 않는 한계를 극복하고자, prefill 및 decode 단계에 대해 독립적으로 반복적인 블록 제거를 수행하는 가지치기 및 증류 세트를 구성합니다. 또한, prefill 단계의 모든 KV Cache는 유지하면서 decode 단계에서는 선택된 계층의 첫 번째와 마지막 토큰 시퀀스에 대해서만 KV Cache 항목을 선택적으로 재사용하는 토큰 인식 캐시 가지치기 메커니즘을 도입하여 통신 비용을 최소화합니다. 실험 결과, 제안된 방법은 PD 분할 및 비분할 설정 모두에서 우수한 성능과 더 빠른 추론 속도를 달성하며, 데이터 전송 대역폭 소비량을 4.95배 줄이는 것을 보여줍니다.
