본 논문은 다중 모달 대규모 언어 모델(MLLM)에서 장문 비디오 이해의 계산 효율성과 미세한 시공간 패턴 유지를 동시에 달성하는 어려움을 해결하기 위해 Mavors 프레임워크를 제안합니다. Mavors는 다중 해상도 비디오 표현을 통해 원시 비디오 콘텐츠를 잠재적 표현으로 직접 인코딩합니다. 이는 3D 합성곱과 비전 트랜스포머를 사용하여 고해상도 공간 특징을 보존하는 내부 청크 비전 인코더(IVE)와 청크 수준 회전 위치 인코딩을 사용한 트랜스포머 기반 의존성 모델링으로 청크 간의 시간적 일관성을 확립하는 청크 간 특징 집계기(IFA)의 두 가지 핵심 구성 요소로 이루어져 있습니다. 또한, 하위 이미지 분해를 통해 이미지를 단일 프레임 비디오로 처리하여 이미지와 비디오 이해를 통합합니다. 다양한 벤치마크에 대한 실험 결과, Mavors는 공간 충실도와 시간적 연속성을 모두 유지하는 데 있어 기존 방법보다 우수하며, 미세한 시공간 추론이 필요한 작업에서 성능이 크게 향상됨을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 해상도 비디오 표현을 통해 장문 비디오의 시공간 정보를 효율적으로 처리하는 새로운 프레임워크 Mavors 제시.
