본 논문은 대규모 언어 모델(LLM)과 다중모달 대규모 언어 모델(MLLM)의 추론 효율을 높이기 위해 의미적 유사성 기반의 다중 사용자 키-값(KV) 캐시 공유 기술인 KVShare를 제시합니다. 기존의 접두사 캐싱(엄격한 텍스트 접두사 매칭)과 의미적 캐싱(응답 다양성 손실)의 한계를 해결하기 위해, KVShare는 의미 정렬 알고리즘과 차등 편집 연산을 통해 미세한 KV 캐시 재사용을 달성합니다. 실제 사용자 대화 데이터셋에 대한 실험 결과, KVShare는 KV 캐시 적중률을 60% 이상 향상시키는 동시에, 완전 계산과 비교하여 출력 품질(BLEU 및 Rouge-L 지표의 유의미한 저하 없음)을 유지함을 보여줍니다. 이 방법은 GPU 자원 소모를 효과적으로 줄이며, 의료 및 교육과 같이 반복적인 질의가 있는 시나리오에 적용 가능합니다.
