VideoRAG: Retrieval-Augmented Generation over Video Corpus
Created by
- Haebom
Category
Empty
저자
Soyeong Jeong, Kangsan Kim, Jinheon Baek, Sung Ju Hwang
개요
본 논문은 질의 응답 정확도 향상을 위해 외부 지식을 검색하고 생성 과정에 통합하는 Retrieval-Augmented Generation (RAG) 전략을 비디오 데이터에 적용한 VideoRAG 프레임워크를 제시합니다. 기존 RAG는 주로 텍스트에 초점을 맞추거나 이미지를 부분적으로 고려했지만, 비디오의 다중 모달 정보 활용에는 미흡했습니다. VideoRAG는 대규모 비디오 언어 모델(LVLMs)을 활용하여 질의와 관련된 비디오를 동적으로 검색하고, 시각 및 텍스트 정보를 모두 활용하여 응답을 생성합니다. 특히, 매우 긴 비디오의 모든 프레임을 처리하는 데 LVLMs의 문맥 크기가 부족할 수 있다는 점과 모든 프레임이 동일하게 중요하지 않다는 점을 고려하여, 정보가 가장 풍부한 프레임을 선택하는 메커니즘과 자막이 없는 비디오의 텍스트 정보를 추출하는 전략을 제시합니다. 실험 결과 VideoRAG의 우수성을 검증하고, 코드를 공개합니다.
시사점, 한계점
•
시사점:
◦
비디오 데이터를 활용한 RAG의 새로운 프레임워크인 VideoRAG 제시
◦
LVLMs을 이용한 효율적인 비디오 검색 및 정보 통합
◦
비디오 프레임 선택 메커니즘 및 자막 없는 비디오의 텍스트 정보 추출 전략 제시
◦
다양한 기준 모델 대비 우수한 성능 검증
◦
공개된 코드를 통한 재현성 확보
•
한계점:
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 유형의 비디오 데이터에 대한 성능 평가 필요
◦
비디오 프레임 선택 메커니즘의 최적화 가능성 탐색
◦
자막 없는 비디오에 대한 텍스트 정보 추출 전략의 정확도 향상 필요
