본 논문은 대규모 언어 모델(LLM) 서비스 최적화를 위한 키-값 캐시(KV 캐시) 압축 기술을 실용적인 관점에서 재검토한다. 기존 알고리즘 설계 및 벤치마크 연구를 종합적으로 검토하고, 실제 적용을 저해하는 성능 측정의 부족한 부분을 파악한다. 대표적인 KV 캐시 압축 방법을 실험적으로 평가하여 계산 효율성에 영향을 미치는 두 가지 주요 문제점(1. 생산 수준의 LLM 서비스에 최적화되지 않아 처리량 성능이 저하, 2. 압축으로 출력 길이가 증가하여 종단 간 지연 시간 증가)을 밝혀낸다. 또한, 전체 성능이 아닌 개별 샘플의 정확도 성능을 조사하여 특정 LLM 작업 처리 시 KV 캐시 압축의 고유한 한계를 밝히고, 향후 KV 캐시 압축 연구를 위한 도구를 제공하며, 이를 GitHub(https://github.com/LLMkvsys/rethink-kv-compression)에 공개한다.
시사점, 한계점
•
시사점:
◦
기존 KV 캐시 압축 방법의 실제 적용을 저해하는 문제점을 밝힘으로써 향후 연구 방향 제시.
◦
계산 효율성 저하의 원인인 두 가지 주요 문제점(처리량 저하 및 지연 시간 증가)을 제시.
