본 논문은 대규모 시각 언어 모델(LVLMs)의 추론 속도를 높이기 위해 새로운 KV 캐시 압축 방법인 AirCache를 제안한다. LVLMs는 뛰어난 추론 능력과 일반화 능력을 가지지만, 많은 시각 토큰을 처리하고 긴 문맥 출력을 생성하는 데 상당한 계산 비용이 필요하며, 이로 인해 KV 캐시에 대한 과도한 요구가 발생한다. AirCache는 시각 및 텍스트 토큰 간의 상관관계를 체계적으로 조사하여 캐시된 시각 토큰의 상당한 중복성을 발견하고, 이를 전략적으로 제거하여 모델 성능을 유지하면서 문맥 생성 속도를 크게 향상시킨다. 핵심적인 부분으로는 시각적 구성 요소의 중요성을 평가하기 위한 엘리트 관찰 창, 강화된 다중 관점 일관성을 갖춘 안정적인 모달 간 관련성 모델링, 그리고 토큰 중요도 분포의 강도와 비대칭성을 활용하는 적응적 계층별 예산 할당 전략을 제시한다. 여러 LVLMs 및 벤치마크에 대한 포괄적인 평가 결과, AirCache는 전체 캐시와 비교하여 유사한 성능을 달성하면서 시각적 KV 캐시의 10%만 유지하여 다양한 배치 크기와 프롬프트 길이에 대해 디코딩 지연 시간을 29%~66% 단축시킨다. 특히, 캐시 유지율이 감소할수록 기존 방법보다 성능이 더 향상된다.
