본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 추론 속도를 높이기 위해 사용되는 키-값(KV) 캐시의 GPU 메모리 소모 문제를 해결하기 위해 Locality-Sensitive Hashing(LSH)을 활용한 새로운 알고리즘 HashEvict를 제안합니다. HashEvict는 현재 쿼리 토큰과 코사인 유사도가 낮은 토큰을 캐시에서 빠르게 찾아 제거함으로써 KV 캐시를 압축합니다. 이는 현재 토큰 쿼리와 캐시된 토큰 키의 이진화된 Gaussian 투영 간의 Hamming 거리를 계산하여 이루어지며, 투영 길이는 임베딩 차원보다 훨씬 작습니다. 기존의 압축 전략과 달리 어텐션 계산 전에 토큰 유지를 결정하여 계산 비용을 줄이며, 매 디코딩 단계마다 가장 낮은 어텐션 점수를 가질 것으로 예상되는 토큰의 임베딩을 현재 토큰의 키와 값으로 동적으로 교체합니다. 실험 결과, HashEvict는 추론, 객관식 문제, 장문맥 검색, 요약 작업에서 높은 성능을 유지하면서 KV 캐시를 30%-70%까지 압축할 수 있음을 보여줍니다.
