본 논문은 오픈엔드 스토리 시각화를 위한 새로운 Transformer 모듈을 제안합니다. 기존 방법들이 캐릭터 일관성 유지에 어려움을 겪는 문제를 해결하기 위해, 사전 훈련된 확산 모델의 지식을 활용하여 논리적인 장면 생성을 보장하는 분리된 self-attention과 cross-attention 메커니즘을 사용합니다. self-attention은 불필요한 영역을 줄이고 캐릭터의 주요 특징을 강조하여 캐릭터 일관성을 향상시키고, cross-attention은 각 캐릭터의 특징을 독립적으로 처리하여 일관성을 더욱 강화합니다. 특히, 재훈련 없이 새로운 캐릭터와 스토리라인을 지속적으로 생성할 수 있는 training-free 방식입니다. 정성적 및 정량적 평가를 통해 기존 방법보다 우수한 성능을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
사전 훈련된 확산 모델을 활용하여 오픈엔드 스토리 시각화의 캐릭터 일관성 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
분리된 self-attention 및 cross-attention 메커니즘을 통해 캐릭터 일관성을 향상시키는 효과적인 전략 제시.
◦
training-free 방식으로 새로운 캐릭터와 스토리라인을 지속적으로 생성 가능하게 함.
◦
기존 방법 대비 향상된 정성적 및 정량적 성능을 입증.
•
한계점:
◦
논문에서 제시된 구체적인 정량적 평가 지표 및 결과에 대한 자세한 설명 부족.
◦
다양한 유형의 스토리라인 및 캐릭터에 대한 일반화 성능에 대한 추가적인 검증 필요.
◦
장기간의 스토리 시각화에 대한 성능 평가 부족. (예: 스토리가 길어질수록 캐릭터 일관성 유지 어려움)
