본 논문은 긴 비디오 이해와 관련된 과제를 해결하는 데 큰 가능성을 지닌 검색 증강 생성(RAG)에 대해 다룹니다. MomentSeeker라는 종합적인 벤치마크를 제시하여 일반적인 장시간 비디오 순간 검색(LVMR) 작업에서 검색 모델의 성능을 평가합니다. MomentSeeker는 평균 500초가 넘는 긴 비디오를 포함하고 다양한 작업 범주(순간 검색, 캡션 정렬, 이미지 조건부 순간 검색, 비디오 조건부 순간 검색 등)와 응용 시나리오(스포츠, 영화, 만화, 에고 등)를 다룹니다. 인간 주석을 통해 평가 작업을 신중하게 큐레이션하여 평가의 신뢰성을 보장합니다. 또한 합성 데이터에서 MLLM 기반 LVMR 검색기를 미세 조정하여 벤치마크에서 강력한 성능을 보여줍니다. 다양한 다중 모드 검색기를 사용한 광범위한 실험을 수행하여 LVMR의 과제와 기존 방법의 한계를 강조합니다. 만든 리소스는 커뮤니티와 공유되어 해당 분야의 미래 연구를 발전시킵니다.
시사점, 한계점
•
시사점:
◦
평균 500초가 넘는 긴 비디오를 사용하는 최초의 장시간 비디오 순간 검색(LVMR) 벤치마크인 MomentSeeker를 제시.
