본 논문은 정확한 시간적 추론과 다중 모달 이해를 위해 특별히 설계된 데이터 효율적인 비디오 LLM인 DaMO를 제안합니다. DaMO는 각 모달 내의 시간적 역동성을 점진적으로 포착하고 상호 보완적인 시각 및 음향 정보를 효과적으로 융합하는 계층적 이중 스트림 아키텍처인 Temporal-aware Fuseformer를 중심으로 합니다. 공간적 중복성을 줄이면서 필수적인 의미적 세부 정보를 유지하는 전역 잔차를 통합하여 계산 효율성을 높였습니다. 또한, 다중 모달 정렬, 의미적 접지, 시간적 추론 기능을 점진적으로 모델에 장착하는 4단계의 점진적 훈련 패러다임을 통해 DaMO를 훈련합니다. 기존 데이터셋에 LLM이 생성한 시간적 접지 QA 쌍으로 증강된 여러 데이터셋도 함께 제공합니다. 시간적 접지 및 비디오 QA 벤치마크에 대한 포괄적인 실험 결과, DaMO는 특히 정확한 시간 정렬과 추론이 필요한 작업에서 이전 방법들을 능가함을 보여줍니다.
