본 논문은 대규모 시각 언어 모델(LVLMs)의 추론 속도를 높이기 위한 새로운 KV 캐시 압축 방법인 AirCache를 제안합니다. LVLMs는 뛰어난 추론 능력과 일반화 능력을 가지고 있지만, 많은 시각 토큰을 처리하고 긴 맥락의 출력을 생성하는 데 상당한 계산 비용이 소요되어 KV 캐시에 대한 과도한 요구를 초래합니다. AirCache는 LVLMs의 어텐션 메커니즘 내에서 시각 및 텍스트 토큰 간의 상관관계를 체계적으로 조사하여 캐시된 시각 토큰의 상당한 중복성을 발견하고, 이를 전략적으로 제거함으로써 모델 성능을 유지하면서 맥락 생성 속도를 크게 향상시킵니다. 중요한 시각 구성 요소를 평가하기 위한 엘리트 관찰 창을 도입하고, 토큰 중요도 분포의 강도와 비대칭성을 활용하는 적응형 계층별 예산 할당 전략을 개발하여 기존의 균일한 할당보다 우수한 효율성을 보여줍니다. 여러 LVLMs 및 벤치마크에 대한 종합적인 평가를 통해, AirCache는 전체 캐시와 비슷한 성능을 달성하면서 시각 KV 캐시의 10%만 유지하여 다양한 배치 크기 및 입력 프롬프트 길이에서 디코딩 지연 시간을 29%~66%까지 줄이는 것을 보여줍니다. 특히, 캐시 유지율이 감소함에 따라 기존 방법보다 성능 이점이 커집니다.
