본 논문은 LLM 추론 시 기하학적으로 독특한 키(key)가 높은 어텐션 점수를 갖는다는 현상을 발견하고, 이를 기반으로 키 유사도에만 의존하는 학습이 필요 없는 KV 캐시 제거 방법인 KeyDiff를 제안합니다. KeyDiff는 다른 KV 캐시 제거 방법과 달리 엄격한 자원 제약 내에서 임의로 긴 프롬프트를 처리하고 효율적으로 응답을 생성할 수 있습니다. 논문은 키 다양성과 어텐션 점수의 관계를 통해 KeyDiff의 이론적 근거를 제시하며, 가장 중요한 토큰을 효율적으로 식별할 수 있음을 시사합니다. 특히 KeyDiff는 어텐션 점수에 의존하지 않으므로 FlashAttention과 같은 최적화된 어텐션 메커니즘을 사용할 수 있습니다. 실험 결과, 엄격한 메모리 제한 하에서 Llama 3.1-8B 및 Llama 3.2-3B 모델에 대해 LongBench에서 비제거 기준 대비 8K 캐시 예산으로 성능 차이가 0.04% 미만(약 23% KV 캐시 감소)임을 보였습니다. 또한 Math500 추론 벤치마크에서 Deepseek-R1-Distill-Llama-8B에 대해 기준 성능에 근접했으며, 다른 토큰 제거 방법과 비교하여 최대 30%의 종단 간 추론 지연 시간을 단축했습니다.
