본 논문은 기존의 시각적 질의응답과 달리, 비디오 기반 대화에서 정확한 응답 생성을 위해 대화 이력과 비디오 내용 모두에 대한 깊이 있는 이해가 필요하다는 점을 강조합니다. 기존 접근 방식의 한계인 복잡한 대화 이력의 점진적 이해와 비디오 정보의 통합 문제를 해결하기 위해, 본 논문에서는 반복적인 검색 및 추론 프레임워크를 제시합니다. 이 프레임워크는 텍스트 인코더, 비주얼 인코더, 그리고 생성기를 포함하며, 텍스트 인코더는 대화 이력에서 질문 이해에 중요한 핵심 단서를 추출하는 경로 검색 및 집계 전략을 사용합니다. 비주얼 인코더는 반복적인 추론 네트워크를 활용하여 비디오에서 중요한 시각적 마커를 추출하고 강조하여 시각적 이해의 깊이를 높입니다. 마지막으로, 사전 훈련된 GPT-2 모델을 사용하여 추출된 숨겨진 단서를 일관성 있고 문맥에 맞는 답변으로 디코딩합니다. 세 개의 공개 데이터셋에 대한 광범위한 실험을 통해 제안된 프레임워크의 효과와 일반화 가능성을 보여줍니다.
