OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model

Created by

Haebom

저자

Maomao Li, Zhen Li, Kaipeng Zhang, Guosheng Yin, Zhifeng Li, Dong Xu

💡 개요

본 논문은 기존의 영상 사용자 정의 방식이 참조 이미지와 텍스트 프롬프트를 기반으로 동일 인물의 영상을 생성하는 데 집중했던 한계를 극복하고자 합니다. 새롭게 제안하는 동기화 오디오-비디오 사용자 정의는 참조 이미지의 인물 정보와 참조 오디오의 음색 정보를 동시에 사용자 정의하여, 사용자가 제공한 텍스트 프롬프트에 따라 말하는 내용까지 자유롭게 생성할 수 있는 혁신적인 연구입니다. 이를 위해 OmniCustom이라는 강력한 DiT 기반 오디오-비디오 사용자 정의 프레임워크를 제안하며, 참조 이미지의 인물, 참조 오디오의 음색, 그리고 텍스트 프롬프트를 동시에 고려하여 제로샷 방식으로 영상을 합성합니다.

🔑 시사점 및 한계

•

AI 기반 영상 및 음성 콘텐츠 제작의 새로운 지평: 참조 이미지와 오디오를 결합하여 원하는 인물의 원하는 목소리로, 원하는 내용의 영상을 실시간으로 생성할 수 있는 가능성을 제시합니다. 이는 개인화된 콘텐츠 제작, 교육, 엔터테인먼트 등 다양한 분야에 혁신적인 변화를 가져올 수 있습니다.

•

동기화된 오디오-비디오 생성의 정교함 향상: 별도의 LoRA 모듈과 대조 학습 목표를 통해 인물 정보와 음색 정보를 효과적으로 제어함으로써, 기존 방법론 대비 일관성 있는 인물 표현과 음색 충실도를 달성했습니다.

•

대규모 고품질 오디오-비디오 데이터셋 구축의 중요성: OmniCustom의 성능은 자체적으로 구축한 대규모, 고품질 오디오-비디오 인간 데이터셋에 크게 의존합니다. 이러한 데이터셋의 확보 및 구축은 유사한 연구 및 개발에 있어 중요한 선행 과제가 될 수 있습니다.

•

윤리적 문제 및 악용 가능성에 대한 고려: 본 기술은 딥페이크와 같은 악용 가능성을 내포하고 있어, 기술의 책임감 있는 사용과 윤리적 가이드라인 마련에 대한 심도 있는 논의가 필요합니다.

•

실시간 생성 및 상호작용성: 제로샷 방식으로 작동하지만, 실제 실시간 상호작용 및 즉각적인 피드백이 가능한 수준의 성능 최적화는 향후 연구 과제로 남아있습니다.

PDF 보기

Made with Slashpage