Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

IPFormer-VideoLLM: Enhancing Multi-modal Video Understanding for Multi-shot Scenes

Created by
  • Haebom

저자

Yujia Liang, Jile Jiao, Xuetao Feng, Zixuan Ye, Yuan Wang, Zhicheng Wang

개요

본 논문은 기존 Video Large Language Models (VideoLLMs)이 다중 샷 시나리오(다양한 카메라 각도나 장면 변화를 포함하는 비디오 클립)에서 어려움을 겪는 문제를 해결하기 위해, 다중 샷 시나리오에 맞춤화된 밀집된 설명과 지시 기반 질의응답 쌍을 특징으로 하는 새로운 데이터셋 MultiClip-Bench를 제시합니다. 기존 모델들이 객체 정보를 불완전하게 인코딩하는 문제점을 분석하고, 객체 수준의 특징을 인스턴스 프롬프트로 효율적인 어텐션 기반 연결기를 통해 주입하는 새로운 모델 IPFormer-VideoLLM을 제안합니다. 실험 결과, 제안된 데이터셋과 모델은 다중 장면 비디오 이해를 크게 향상시키고 다양한 비디오 벤치마크에서 뚜렷한 이점을 제공함을 보여줍니다.

시사점, 한계점

시사점:
다중 샷 비디오 이해를 위한 새로운 데이터셋 MultiClip-Bench 제시
객체 정보 손실 문제 해결을 위한 새로운 모델 IPFormer-VideoLLM 제안
다중 장면 비디오 이해 성능 향상 및 다양한 벤치마크에서의 우수한 성능 증명
한계점:
MultiClip-Bench 데이터셋의 규모 및 다양성에 대한 추가적인 검토 필요
IPFormer-VideoLLM의 계산 비용 및 효율성에 대한 추가적인 분석 필요
제안된 모델의 일반화 성능에 대한 추가적인 연구 필요
👍