본 논문은 대규모 언어 모델(LLM)의 다회차 대화에서 효율적인 상태 복원 문제를 해결하기 위해 Krul이라는 시스템을 제안합니다. 기존의 KV 캐시 압축 방식이 모든 대화에 동일한 압축 방식을 적용하는 한계를 극복하고자, Krul은 대화별 어텐션 패턴 유사성을 고려하여 동적으로 압축 전략을 선택합니다. 핵심 혁신으로는 예측적 압축 전략 선택, 토큰별 이종 어텐션 유사성 추정, 버블 없는 복원 스케줄러를 제시하며, 실험 결과 기존 최고 성능 방법 대비 TTFT를 1.5배2.68배, KV 캐시 저장 용량을 1.33배2.35배 감소시키는 동시에 생성 품질을 유지함을 보여줍니다.
