본 논문은 대규모 언어 모델(LLM)에서 KV 캐시 압축 방법이 LLM의 기본 성능에 미치는 영향에 대한 연구를 진행합니다. 기존의 압축 방법들이 긴 문맥 벤치마크에서 인상적인 압축률을 달성했지만, 핵심 모델 성능에 미치는 영향은 아직 충분히 연구되지 않았습니다. 연구진은 다양한 기본 LLM 기능(세계 지식, 상식 추론, 산술 추론, 코드 생성, 안전성, 긴 문맥 이해 및 생성)을 포괄하는 종합적인 벤치마크인 KVFundaBench를 제시하여 다양한 KV 캐시 압축 방법의 효과를 체계적으로 평가합니다. 분석 결과, 작업 종속적 성능 저하, 모델 유형에 대한 강건성, 프롬프트 길이에 대한 취약성, 청크 수준의 우수성, 프롬프트 이득 민감도, 긴 문맥 생성 민감도 등의 주요 결과를 발견했습니다. 주의 패턴 및 과제 간 압축 성능 분석을 바탕으로, ShotKV라는 새로운 압축 방법을 제안합니다. ShotKV는 사전 채우기 및 디코딩 단계를 구분하여 샷 수준의 의미적 일관성을 유지합니다. 실험 결과, ShotKV는 공격적인 압축률에서 긴 문맥 생성 작업에서 9%~18%의 성능 향상을 달성했습니다.
