본 논문은 사전 훈련된 영상-언어 모델을 기반으로, 비디오 내 행동 및 사건을 위치 파악하는 새로운 방법인 VideoGEM을 제시합니다. 기존의 영상 내 객체 위치 파악과 달리, 추상적인 개념으로 표현되는 행동의 위치 파악은 어려움이 있습니다. VideoGEM은 GEM의 자기-자기 어텐션 구조를 행동 위치 파악에 적용하고, 고차원 의미 개념이 상위 레이어에 존재한다는 점에 착안하여 레이어 가중치를 조정하는 방법을 제안합니다. 또한, 각 레이어의 중요도를 동적으로 조절하는 방법과 행동, 동사, 객체를 개별적으로 처리하는 프롬프트 분해 기법을 통해 행동의 공간적 위치 파악 성능을 향상시킵니다. CLIP, OpenCLIP, ViCLIP 세 가지 백본 모델과 네 가지 비디오 데이터셋(V-HICO, DALY, YouCook-Interactions, GroundingYouTube)을 이용한 실험 결과, VideoGEM은 기존 최첨단 방식보다 우수한 성능을 보였습니다.
