Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Hierarchical Knowledge Graphs for Story Understanding in Visual Narratives

Created by
  • Haebom
Category
Empty

저자

Yi-Chun Chen

개요

만화와 같은 멀티모달 스토리텔링을 위한 계층적 지식 그래프 프레임워크를 제시한다. 이 프레임워크는 패널, 이벤트, 매크로 이벤트의 세 가지 레벨로 서사 내용을 구성하며, 의미적, 공간적, 시간적 관계를 인코딩하는 심볼릭 그래프를 통합한다. 패널 레벨에서는 캐릭터, 객체, 액션과 같은 시각적 요소와 대화 및 내레이션과 같은 텍스트 요소를 모델링한다. 이들은 서사 시퀀스 및 추상적인 스토리 구조를 포착하는 상위 레벨 그래프에 체계적으로 연결된다. Manga109 데이터셋의 수동으로 주석이 달린 하위 집합에 적용하여, 액션 검색, 대화 추적, 캐릭터 등장 매핑, 타임라인 재구성과 같은 4가지 대표적인 작업에 대해 해석 가능한 심볼릭 추론을 지원한다. 예측 성능을 우선시하기보다는, 서사 모델링의 투명성을 강조하고 사건 분할 및 시각적 스토리텔링에 대한 인지 이론에 맞춰 구조화된 추론을 가능하게 한다.

시사점, 한계점

시사점:
설명 가능한 서사 분석에 기여한다.
저작 도구, 서사 이해 시스템, 대화형 미디어 애플리케이션의 기반을 제공한다.
해석 가능한 심볼릭 추론을 지원한다.
사건 분할 및 시각적 스토리텔링에 대한 인지 이론에 맞춰 구조화된 추론을 가능하게 한다.
한계점:
구체적인 한계점은 논문 내용에 명시되지 않음. (제공된 요약만으로는 알 수 없음)
예측 성능보다 모델의 투명성에 초점을 맞추었으므로, 실제 성능은 다른 모델에 비해 낮을 수 있음.
👍