Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TimeScope: Towards Task-Oriented Temporal Grounding In Long Videos

Created by
  • Haebom

저자

Xiangrui Liu, Minghao Qin, Yan Shu, Zhengyang Liang, Yang Tian, Chen Jason Zhang, Bo Zhao, Zheng Liu

Task-oriented Temporal Grounding (ToTG)

개요

본 논문에서는 긴 비디오에서 특정 작업을 수행하는 데 필요한 정보를 포함하는 시간 간격을 찾는 새로운 문제인 Task-oriented Temporal Grounding (ToTG)을 소개합니다. 이를 위해 ToTG 성능을 평가하기 위한 포괄적인 벤치마크인 ToTG Bench를 제시합니다. 또한, 긴 비디오 처리의 어려움을 해결하기 위해, 점진적 추론을 기반으로 하는 새로운 프레임워크인 TimeScope를 제안합니다. TimeScope는 먼저 핵심 순간을 포함할 가능성이 높은 거친 시간 범위를 식별하고, 세분화된 순간 분할을 통해 이 범위를 정제합니다. 마지막으로, TimeScope의 점진적 시간적 기반 능력을 향상시키기 위해 고품질 데이터 세트인 ToTG Pile을 구축했습니다. 실험 결과는 TimeScope가 기존의 temporal grounding 방법과 MLLMs보다 일관적으로 우수한 성능을 보임을 보여줍니다.

시사점, 한계점

시사점:
Task-oriented Temporal Grounding(ToTG)이라는 새로운 문제 정의 및 벤치마크 제시
긴 비디오에서 핵심 순간을 효과적으로 찾기 위한 TimeScope 프레임워크 개발
TimeScope의 성능을 향상시키는 ToTG Pile 데이터 세트 구축
다양한 설정에서 기존 방법보다 우수한 TimeScope의 성능 입증
한계점:
논문 내 한계점에 대한 구체적인 언급은 없음
👍