본 논문은 대규모 언어 모델(LLM)의 높은 계산 및 메모리 비용 문제를 해결하기 위해, prefill-decode (PD) 분해 방식의 특징을 고려한 새로운 모델 가지치기 방법을 제안한다. 기존 방법과 달리, prefill 단계와 decode 단계에 대해 독립적으로 반복적인 블록 제거를 수행하여 더욱 정확하고 효율적인 블록 및 KV 캐시 가지치기를 가능하게 한다. 특히, prefill 단계의 모든 KV 캐시는 유지하면서 decode 단계에서는 선택된 레이어의 첫 번째와 마지막 토큰 시퀀스에 대해서만 KV 캐시 항목을 선택적으로 재사용하는 토큰 인식 캐시 가지치기 메커니즘을 도입하여 통신 비용을 최소화한다. 실험 결과, 제안된 방법은 PD 분해 및 비분해 설정 모두에서 강력한 성능을 보이며, 기본 설정에서 최대 4.95배의 데이터 전송 대역폭 소비 감소와 더불어 성능 향상 및 빠른 추론 속도를 달성한다.
