HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

Created by

Haebom

저자

Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

💡 개요

본 논문은 실시간 스트리밍 비디오 이해 분야의 한계점을 극복하기 위해 HERMES라는 새로운 훈련 없는 아키텍처를 제안합니다. HERMES는 KV 캐시를 다층적 비디오 정보 캡슐화 계층적 메모리 프레임워크로 개념화하여, 제한된 GPU 메모리 환경에서도 안정적인 성능과 실시간 응답을 보장합니다. 이를 통해 기존 최첨단(SOTA) 방법론 대비 10배 빠른 TTFT(Time to First Token)를 달성하면서도, 비디오 토큰 수를 최대 68%까지 줄여도 우수한 정확도를 유지하거나 향상시킵니다.

🔑 시사점 및 한계

•

실시간 스트리밍 비디오 이해를 위한 효율적인 KV 캐시 관리 방안을 제시하여, 자원 제약 환경에서의 MLLM 활용 가능성을 높입니다.

•

훈련 없이 실시간 응답을 보장하고 성능 저하 없이 비디오 데이터 압축을 가능하게 하는 새로운 접근 방식을 제시합니다.

•

제안된 계층적 메모리 프레임워크의 일반적인 적용 가능성과 다양한 MLLM 아키텍처에서의 성능 검증이 추가적으로 필요합니다.

PDF 보기

Made with Slashpage