본 논문은 분해된 다단계 모듈형 추론 프레임워크를 통해 비디오 질의응답(videoQA) 과제를 다룹니다. 기존의 모듈형 방법들은 시각적 콘텐츠에 근거하지 않은 단일 계획 단계에서 효과를 보였지만, 본 논문에서는 간단하고 효과적인 기준선을 통해 이러한 시스템이 어려운 videoQA 설정에서 취약한 동작으로 이어질 수 있음을 발견했습니다. 따라서 기존의 단일 단계 계획 방법과 달리, 이벤트 파서, 근거 단계, 최종 추론 단계와 외부 메모리를 결합한 다단계 시스템을 제안합니다. 모든 단계는 훈련이 필요 없으며, 대규모 모델의 몇 번의 프롬프팅을 사용하여 수행되어 각 단계에서 해석 가능한 중간 출력을 생성합니다. 기본 계획 및 작업 복잡성을 분해함으로써, MoReVQA라는 제안하는 방법은 표준 videoQA 벤치마크(NExT-QA, iVQA, EgoSchema, ActivityNet-QA)에서 기존 연구보다 우수한 성능을 보이며, 관련 작업(근거 기반 videoQA, 단락 캡션 생성)으로 확장됩니다.
