STORYANCHORS: Generating Consistent Multi-Scene Story Frames for Long-Form Narratives
Created by
Haebom
저자
Bo Wang, Haoyang Huang, Zhiyin Lu, Fengyuan Liu, Guoqing Ma, Jianlong Yuan, Yuan Zhang, Nan Duan
개요
StoryAnchors는 시간적 일관성이 강한 고품질의 다중 장면 스토리 프레임을 생성하기 위한 통합 프레임워크입니다. 과거 및 미래 맥락을 통합하는 양방향 스토리 생성기를 사용하여 내러티브 전반에 걸쳐 시간적 일관성, 캐릭터 연속성 및 부드러운 장면 전환을 보장합니다. 표준 비디오 합성과 스토리 프레임 생성을 구분하는 특정 조건을 도입하여 장면 다양성을 높이고 내러티브 풍부함을 향상시킵니다. 생성 품질을 더욱 향상시키기 위해 다중 이벤트 스토리 프레임 라벨링 및 점진적 스토리 프레임 훈련을 통합하여 전체적인 내러티브 흐름과 이벤트 수준의 역동성을 모두 포착합니다. 이 접근 방식은 편집 가능하고 확장 가능한 스토리 프레임을 생성하여 수동 수정과 더 길고 복잡한 시퀀스 생성을 지원합니다. 광범위한 실험을 통해 StoryAnchors가 일관성, 내러티브 일관성 및 장면 다양성과 같은 주요 영역에서 기존 오픈 소스 모델을 능가함을 보여줍니다. 내러티브 일관성과 스토리 풍부함 측면에서도 GPT-4o와 동등한 성능을 보입니다. 결론적으로 StoryAnchors는 스토리 중심 프레임 생성의 한계를 뛰어넘어 향후 연구를 위한 확장 가능하고 유연하며 고도로 편집 가능한 기반을 제공합니다.
시사점, 한계점
•
시사점:
◦
시간적 일관성이 뛰어난 고품질 다중 장면 스토리 프레임 생성 가능
◦
기존 오픈소스 모델 대비 향상된 일관성, 내러티브 일관성, 장면 다양성 제공
◦
GPT-4o 수준의 내러티브 일관성 및 스토리 풍부함 달성
◦
편집 가능하고 확장 가능한 스토리 프레임 생성 지원
◦
스토리 중심 프레임 생성 연구에 대한 확장 가능하고 유연하며 고도로 편집 가능한 기반 제공
