DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance
Created by
Haebom
저자
Xuanfan Ni, Liyan Xu, Chenyang Lyu, Longyue Wang, Mo Yu, Lemao Liu, Fandong Meng, Jie Zhou, Piji Li
개요
본 논문은 대규모 언어 모델(LLM) 추론 시 메모리 부담을 줄이기 위해 KV 캐시 압축에 초점을 맞춘 연구입니다. 기존 연구들은 사전 정의된 KV 캐시 크기(budget)를 사용하여 어텐션 스파스티(sparsity)를 활용하는 등의 방식으로 압축을 진행하지만, 최적의 크기는 입력 길이와 작업 유형에 따라 다르기 때문에 성능 저하를 초래할 수 있습니다. 본 논문에서는 입력에 관계없이 항상 full-cache 성능을 보장하면서 KV 캐시 가지치기를 최대화하는 새로운 압축 목표를 제시합니다. 이를 위해, 어텐션 기반 지표를 사용하여 잔여 KV 캐시가 full-cache 성능을 충족하지 못할 가능성이 높을 때 가지치기 과정을 중단하는 DBudgetKV라는 새로운 KV 캐시 압축 방법을 제안합니다. 다양한 문맥 길이, 작업 유형 및 모델 크기에 대한 실험 결과, DBudgetKV는 평균 25% 이상의 압축률을 달성하며 효과적이고 견고한 lossless KV 가지치기를 수행함을 보여줍니다. 또한, 기존 방법보다 메모리 공간을 최적화하고 추론 시간을 단축시키는 장점을 가지며 LLM 추론에 쉽게 통합될 수 있습니다.
시사점, 한계점
•
시사점:
◦
입력 길이와 작업 유형에 상관없이 일관된 성능을 제공하는 효과적인 KV 캐시 압축 방법을 제시.
