Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

작성자

Haebom

카테고리

Empty

저자

Yiqi Lin, Guoqiang Liang, Ziyun Zeng, Zechen Bai, Yanzhe Chen, Mike Zheng Shou

💡 개요

자연어 기반 영상 편집은 정밀한 시각적 제어에 어려움을 겪는 반면, 참조 기반 편집은 고품질 훈련 데이터 부족이라는 한계를 가집니다. 본 연구는 기존 영상 편집 데이터를 활용하여 고품질 훈련 데이터를 생성하는 확장 가능한 파이프라인을 제안하고, 이를 통해 대규모의 Instruction-Reference-Following 데이터셋인 RefVIE와 평가 벤치마크인 RefVIE-Bench를 구축했습니다. 더불어, 학습 가능한 쿼리와 잠재 시각 특징을 결합하여 참조 의미를 효과적으로 활용하는 통일된 편집 아키텍처인 Kiwi-Edit를 제안하며, 점진적인 다단계 훈련을 통해 제어 가능한 영상 편집 분야에서 새로운 최고 성능을 달성했습니다.

🔑 시사점 및 한계

•

자연어와 참조 정보를 융합하여 영상 편집의 정밀도와 제어력을 크게 향상시켰습니다.

•

대규모 합성 데이터셋 구축 파이프라인을 통해 데이터 부족 문제를 해결하고 연구 발전을 가속화했습니다.

•

제안된 Kiwi-Edit 아키텍처와 훈련 방법론은 기존 영상 편집 모델의 성능을 뛰어넘는 새로운 최고 수준을 제시했습니다.

•

합성 데이터의 품질과 실제 데이터와의 간극, 그리고 다양한 영상 편집 작업에 대한 일반화 성능 검증이 향후 과제로 남습니다.

PDF 보기

Made with Slashpage