본 논문은 컴퓨터 비전과 자연어 처리를 결합한 시각적 스토리텔링 분야에 대해 다룹니다. 특히, Transformer 기반 아키텍처와 대규모 다중 모달 모델을 활용하여 이미지 시퀀스로부터 일관성 있는 이야기를 생성하는 새로운 방법인 VIST-GPT 모델을 제시합니다. 기존의 BLEU, METEOR, ROUGE, CIDEr와 같은 평가 지표의 한계를 극복하기 위해 시각적 근거, 일관성, 비중복성에 중점을 둔 새로운 참조 없는 지표인 RoViST와 GROOVIST를 사용하여 스토리텔링의 질을 더욱 정교하게 평가합니다. 대규모 VIST 데이터셋을 활용하여 시각적으로 근거가 있고 문맥적으로 적절한 이야기를 생성합니다.
