TimeScope: Towards Task-Oriented Temporal Grounding In Long Videos
Created by
Haebom
저자
Xiangrui Liu, Minghao Qin, Yan Shu, Zhengyang Liang, Yang Tian, Chen Jason Zhang, Bo Zhao, Zheng Liu
Task-oriented Temporal Grounding (ToTG)
개요
본 논문에서는 긴 비디오에서 특정 작업을 수행하는 데 필요한 정보를 포함하는 시간 간격을 찾는 새로운 문제인 Task-oriented Temporal Grounding (ToTG)을 소개합니다. 이를 위해 ToTG 성능을 평가하기 위한 포괄적인 벤치마크인 ToTG Bench를 제시합니다. 또한, 긴 비디오 처리의 어려움을 해결하기 위해, 점진적 추론을 기반으로 하는 새로운 프레임워크인 TimeScope를 제안합니다. TimeScope는 먼저 핵심 순간을 포함할 가능성이 높은 거친 시간 범위를 식별하고, 세분화된 순간 분할을 통해 이 범위를 정제합니다. 마지막으로, TimeScope의 점진적 시간적 기반 능력을 향상시키기 위해 고품질 데이터 세트인 ToTG Pile을 구축했습니다. 실험 결과는 TimeScope가 기존의 temporal grounding 방법과 MLLMs보다 일관적으로 우수한 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
Task-oriented Temporal Grounding(ToTG)이라는 새로운 문제 정의 및 벤치마크 제시