G-KV: Decoding-Time KV Cache Eviction with Global Attention
Created by
Haebom
Category
Empty
저자
Mengqi Liao, Lu Wang, Chaoyun Zhang, Zekai Shen, Xiaowei Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Huaiyu Wan
개요
최근 추론 LLM은 복잡한 작업에 뛰어나지만 긴 시퀀스 길이로 인해 상당한 계산 및 메모리 문제가 발생합니다. KV 캐시 압축은 추론 효율성을 크게 향상시키는 효과적인 접근 방식으로 부상했습니다. 본 논문은 로컬 어텐션 점수에만 집중하는 기존 방법의 한계를 지적하고, 로컬 및 과거 어텐션 점수를 결합하여 토큰 중요성을 보다 정확하게 평가하는 글로벌 채점 메커니즘을 사용하는 KV 캐시 제거 방법인 G-KV를 제안합니다. 또한, 압축된 KV 캐시 설정을 위해 모델을 최적화하기 위한 강화 학습 및 증류를 포함한 사후 훈련 기술을 소개합니다.
시사점, 한계점
•
시사점:
◦
장기적인 토큰 중요성을 고려하는 글로벌 채점 메커니즘을 활용한 G-KV 제안.
◦
KV 캐시 압축 설정을 위한 강화 학습 및 증류 기반 사후 훈련 기술 제시.
◦
Github에서 코드 제공.
•
한계점:
◦
논문 내용 요약만으로는 구체적인 성능 개선 정도나 G-KV의 세부적인 작동 방식에 대한 정보가 부족함.
