본 논문은 긴, 다듬어지지 않은 비디오의 모든 이벤트를 감지하고 캡션을 생성하는 밀집 비디오 캡션 작업에 대해 제안합니다. 기존 방법들이 이벤트 시간 제안 내의 장면 진화를 충분히 탐구하지 못해 상대적으로 긴 제안에서 장면과 객체가 변할 때 성능이 저하되는 문제를 해결하기 위해, 그래프 기반 분할 및 요약(GPaS) 프레임워크를 제안합니다. GPaS는 '분할' 단계에서 전체 이벤트 제안을 더 세부적인 수준에서 캡션을 생성하기 위해 짧은 비디오 세그먼트로 나누고, '요약' 단계에서 각 세그먼트에 대한 풍부한 설명 정보를 담은 생성된 문장들을 하나의 문장으로 요약합니다. 특히 '요약' 단계에 중점을 두고, 의미 단어 간의 관계를 효과적으로 활용하는 프레임워크를 제안하며, 의미 단어를 그래프의 노드로 취급하고 시각적 단서의 도움을 받아 GCN(Graph Convolutional Network)과 LSTM(Long Short Term Memory)을 결합하여 상호 작용을 학습합니다. GCN과 LSTM을 원활하게 통합하기 위해 두 가지 GCN-LSTM 상호 작용(GLI) 모듈 방식을 제안합니다. ActivityNet Captions 데이터셋과 YouCook II 데이터셋에서 최첨단 방법들과의 광범위한 비교를 통해 제안된 방법의 효과를 보여줍니다.
