본 논문은 장문 비디오 이해에서 효율적인 처리를 위해 멀티모달 대규모 언어 모델(MLLM)의 장기 비디오 처리 능력의 한계를 다룹니다. 기존의 장문 컨텍스트 MLLM은 장문의 시각적 컨텍스트에 대한 키-밸류(KV) 캐시 저장 및 참조에 상당한 메모리 및 계산 오버헤드가 발생하는 문제점을 가지고 있습니다. 기존의 시각적 압축 방법들은 압축 전에 전체 시각적 컨텍스트를 인코딩하거나 질문에 미리 접근해야 하는 비실용적인 제약이 있습니다. 이를 해결하기 위해 본 논문에서는 스트리밍 방식으로 새로운 비디오 프레임을 인코딩하고, 시각 토큰과 일반적인 질문 토큰 간의 어텐션 점수를 이용하여 KV 캐시를 압축하면서 고정 크기의 KV 메모리를 유지하여 메모리 제약이 있는 장문 비디오 시나리오에서 효율적인 질문 답변(QA)을 가능하게 하는 쿼리-애그노스틱 KV 캐시 메모리 메커니즘인 StreamMem을 제안합니다. 세 가지 장문 비디오 이해 벤치마크와 두 가지 스트리밍 비디오 질문 답변 벤치마크에서 평가한 결과, StreamMem은 쿼리-애그노스틱 KV 캐시 압축에서 최첨단 성능을 달성하고 쿼리-어웨어 압축 방식과 경쟁력 있는 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
쿼리-애그노스틱 방식의 KV 캐시 압축 메커니즘을 통해 메모리 제약이 있는 장문 비디오 이해 문제에 효율적인 해결책을 제시.
◦
스트리밍 방식의 비디오 처리를 통해 실시간 또는 근실시간 장문 비디오 이해 응용에 적용 가능성 제시.
◦
쿼리-어웨어 방식과 비교하여 경쟁력 있는 성능을 보임.
◦
장문 비디오 QA 및 스트리밍 비디오 QA 벤치마크에서 최첨단 성능 달성.
•
한계점:
◦
제안된 StreamMem의 성능이 특정 벤치마크에 국한되어 다른 유형의 장문 비디오 데이터셋에 대한 일반화 성능은 추가 연구가 필요.
◦
압축 과정에서 정보 손실 가능성 존재, 손실 정도와 영향에 대한 추가 분석 필요.
◦
일반적인 쿼리 토큰의 설계 및 선택에 대한 자세한 설명 부족. 최적의 쿼리 토큰 설계에 대한 추가 연구 필요.
