본 논문은 긴 형식의 비디오 데이터를 텍스트 기반 요약으로 표현하여, 비디오 콘텐츠에 대한 복잡한 자연어 질의에 응답하는 시스템을 제안합니다. 특히, 짧은 비디오 조각에 대한 비디오 캡셔너를 사용하여 텍스트 기반 메모리를 점진적으로 구축하고, Vision Language Model (VLM)을 활용하여 정적 장면 설명을 추가하여 메모리를 풍부하게 만듭니다. LaViLa 비디오 캡셔너를 LLM과 결합하여 비디오에 대한 질문에 답변하며, 비디오를 의미 있는 세그먼트로 분할하는 방법과 LaVaV VLM을 사용한 장면 설명 통합을 통해 캡셔닝 파이프라인을 개선했습니다. 최종적으로, 액션과 장면 캡션을 모두 생성하도록 LaViLa 비디오 캡셔너를 미세 조정하여 캡셔닝 파이프라인의 효율성을 향상시켰습니다.
