대규모 언어 모델(LLM)의 효율적인 추론을 위해 KV 캐시 압축이 중요해짐에 따라, KeepKV라는 새로운 적응형 KV 캐시 병합 방법을 제안합니다. 이 방법은 단일 단계 무손실 압축을 달성하고 다단계 압축에 대한 오차 범위를 제공합니다. KeepKV는 병합 기록을 기록하고 어텐션 점수를 적응적으로 조정하는 Electoral Votes 메커니즘을 도입하고, 캐시 병합으로 인한 어텐션 손실을 보상하는 Zero Inference-Perturbation Merging 방법을 활용합니다. 다양한 벤치마크 및 LLM 아키텍처에서 KeepKV는 메모리 사용량을 크게 줄이면서 필수 컨텍스트 정보를 성공적으로 유지하여 2배 이상의 추론 처리량 향상을 달성하고, 10% KV 캐시 예산으로도 우수한 생성 품질을 유지합니다.
시사점, 한계점
•
시사점:
◦
메모리 제약 조건 하에서 성능을 유지하는 적응형 KV 캐시 병합 방법 제시.
◦
단일 단계 무손실 압축 및 다단계 압축에 대한 오차 범위 제공.
◦
Electoral Votes 메커니즘과 Zero Inference-Perturbation Merging 방법을 통해 어텐션 분포의 일관성을 유지.
