대규모 언어 모델(LLM)이 비디오 영역으로 확장되어 정교한 비디오-언어 이해를 가능하게 했지만, 기존 비디오 LLM은 미세한 시간적 추론에 제한이 있어 특히 제한된 감독 하에서 응답을 특정 비디오 순간에 정확하게 귀속시키는 능력이 제한적입니다. 본 논문에서는 정확한 시간적 추론과 다중 모드 이해를 위해 명시적으로 설계된 데이터 효율적인 비디오 LLM인 DaMO를 제시합니다. 제안된 시간 인식 Fuseformer는 각 모드 내에서 시간 역학을 점진적으로 포착하고 상호 보완적인 시각 및 오디오 정보를 효과적으로 융합하는 계층적 이중 스트림 아키텍처를 중심으로 합니다. 계산 효율을 더욱 높이기 위해 DaMO는 필수 의미 세부 정보를 유지하면서 공간 중복성을 줄이는 전역 잔차를 통합합니다. DaMO는 구조화된 4단계 점진적 훈련 패러다임을 통해 훈련되며, 모델에 다중 모드 정렬, 의미적 근거 및 시간적 추론 기능을 점진적으로 장착합니다. 또한, 시간적 감독이 필요한 작업을 위해 GPT가 생성한 시간적 근거 QA 쌍으로 확장된 여러 데이터 세트를 기여합니다. 시간적 근거 및 비디오 QA 벤치마크에 대한 포괄적인 실험은 DaMO가 특히 정확한 시간 정렬 및 추론이 필요한 작업에서 이전 방법을 일관되게 능가함을 보여줍니다. 본 연구는 데이터 효율적인 비디오-언어 모델링에 대한 유망한 방향을 제시합니다.
