MomentMix Augmentation with Length-Aware DETR for Temporally Robust Moment Retrieval
Created by
Haebom
저자
Seojeong Park, Jiho Choi, Kyungjune Baek, Hyunjung Shim
개요
본 논문은 자연어 질의를 기반으로 비디오 내 특정 순간을 찾는 비디오 모멘트 검색(Video Moment Retrieval, MR)에 관한 연구입니다. YouTube와 같은 플랫폼의 정보 검색이 증가함에 따라 MR 기술의 수요 또한 높아지고 있습니다. 최근 DETR 기반 모델들이 성능 향상을 이루었지만, 짧은 순간의 정확한 위치 파악에는 어려움을 겪고 있습니다. 본 논문에서는 짧은 순간의 특징 다양성 부족을 분석하고, 이를 해결하기 위해 두 가지 데이터 증강 전략(ForegroundMix와 BackgroundMix)을 사용하는 MomentMix를 제안합니다. 또한, 짧은 순간의 중심 위치 예측 정확도가 낮은 점을 발견하고, 새로운 이분 매칭 과정을 통해 길이 정보를 고려하는 Length-Aware Decoder를 제안합니다. 제안된 방법은 기존 DETR 기반 방법보다 벤치마크 데이터셋에서 우수한 성능을 보이며, 특히 짧은 순간의 위치 파악에 효과적임을 실험적으로 증명합니다. QVHighlights 데이터셋에서 R1과 mAP 지표 모두 최고 성능을 달성하였고, TACoS와 Charades-STA 데이터셋에서 R1@0.7 지표에서 최고 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
짧은 비디오 모멘트 검색의 정확도 향상에 기여하는 새로운 데이터 증강 기법(MomentMix)과 길이 인식 디코더(Length-Aware Decoder)를 제시.
◦
QVHighlights, TACoS, Charades-STA 데이터셋에서 SOTA 성능 달성.
◦
짧은 순간의 특징 다양성 부족 및 중심 위치 예측 편향 문제를 분석하고 해결책을 제시.
◦
오픈소스 코드 공개를 통한 연구 재현성 및 확장성 확보.
•
한계점:
◦
제안된 방법의 효과는 특정 벤치마크 데이터셋에 국한될 가능성 존재. 다양한 데이터셋에 대한 추가적인 실험 필요.
