기존의 대규모 비디오-언어 모델(LVLM)은 제한된 컨텍스트로 인해 긴 비디오를 제대로 이해하는 데 어려움을 겪습니다. 이 문제를 해결하기 위해, Video Retrieval-Augmented Generation (Video-RAG)을 제안합니다. 이는 시각적으로 정렬된 보조 텍스트를 사용하여 교차 모달리티 정렬을 용이하게 하고 시각적 내용을 넘어 추가 정보를 제공하는 훈련이 필요 없는 비용 효율적인 파이프라인입니다. Video-RAG는 오픈 소스 도구를 활용하여 비디오 데이터에서 시각적으로 정렬된 정보(오디오, 광학 문자, 객체 감지 등)를 추출하고 이를 기존 LVLM에 보조 텍스트로 통합합니다. 이 방식은 단일 턴 검색으로 인한 가벼운 컴퓨팅 오버헤드, 모든 LVLM과의 쉬운 구현 및 호환성, Video-MME, MLVU, LongVideoBench를 포함한 긴 비디오 이해 벤치마크에서 상당하고 일관된 성능 향상을 제공합니다. 72B 모델과 함께 사용했을 때 Gemini-1.5-Pro 및 GPT-4o와 같은 독점 모델보다 우수한 성능을 보입니다.
