본 논문은 상식적인 비디오 질의응답(VQA)을 위한 최초의 비디오 기반 함축 트리 추론 방법을 제안합니다. 대규모 시각-언어 모델(VLMs)의 놀라운 발전에도 불구하고, 블랙박스 특성과 벤치마킹 편향으로 인해 비디오와 가능성 높은 답변 간의 허위 상관관계를 학습한다는 우려가 증가하고 있습니다. 본 논문의 방법은 함축 트리 구성, 비디오-언어 함축 검증, 트리 추론, 동적 트리 확장의 네 단계를 통해 VQA 작업을 비디오 조각에 명시적으로 근거합니다. 이 방법의 중요한 장점은 다양한 추론 유형에 걸쳐 현재 비디오 및 이미지 기반 VLM에 대한 일반화 가능성입니다. 공정한 평가를 지원하기 위해, 모델 추론을 강화하기 위해 VQA 벤치마크 답변 집합을 다시 작성하는 대규모 언어 모델 기반의 편향 제거 절차를 고안했습니다. 기존 및 편향 제거된 벤치마크에 대한 체계적인 실험은 벤치마크, VLM 및 추론 유형에 걸쳐 본 논문의 방법 구성 요소의 영향을 강조합니다.
