Sign In

Generating Visual Stories with Grounded and Coreferent Characters

Created by
  • Haebom
Category
Empty

저자

Danyang Liu, Mirella Lapata, Frank Keller

개요

본 논문은 시각적 스토리 생성에서 등장인물의 일관성과 지칭 일치 문제를 해결하기 위해 등장인물 중심 스토리 생성이라는 새로운 과제를 제시합니다. 기존 시각적 스토리 생성 방법론이 등장인물을 제대로 다루지 못해 스토리가 일반적이고 부정확하다는 문제점을 지적하며, VIST 벤치마크를 기반으로 시각 및 텍스트적 등장인물 공참조 체인으로 강화된 새로운 데이터셋을 구축합니다. 이를 통해 등장인물의 일관성과 지칭 일치를 향상시킨 모델을 제시하고, 새로운 평가 지표를 제안하여 실험적으로 모델의 우수성을 검증합니다.

시사점, 한계점

시사점:
시각적 스토리 생성에서 등장인물의 중요성을 강조하고, 이를 중심으로 한 새로운 생성 모델을 제시함으로써 더욱 풍부하고 일관성 있는 스토리 생성을 가능하게 함.
VIST 데이터셋을 확장하여 등장인물 공참조 정보를 포함하는 새로운 데이터셋을 구축하고, 이를 통해 향후 연구의 기반을 마련함.
등장인물의 일관성과 지칭 일치를 평가하는 새로운 지표를 제안함.
한계점:
제안된 모델과 데이터셋의 규모 및 일반화 성능에 대한 추가적인 검증이 필요함.
제시된 새로운 평가 지표의 객관성 및 신뢰도에 대한 추가적인 분석이 필요함.
다양한 시각적 데이터 유형에 대한 적용 가능성 및 확장성에 대한 추가적인 연구가 필요함.
👍