Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

In-Context Sync-LoRA for Portrait Video Editing

Created by
  • Haebom
Category
Empty

저자

Sagi Polaczek, Or Patashnik, Ali Mahdavi-Amiri, Daniel Cohen-Or

개요

본 논문은 인물 영상 편집 시 프레임 간의 정확한 동기화와 일관성을 유지하면서 고품질의 시각적 수정을 달성하는 Sync-LoRA를 제시합니다. 이미지-to-비디오 확산 모델을 사용하여 첫 번째 프레임을 수정하고 이를 전체 시퀀스로 전파하며, 동기화된 모션 궤적을 갖지만 외형이 다른 페어 비디오를 활용하여 in-context LoRA를 훈련합니다. 자동 생성 및 동기화 기반 필터링을 통해 훈련 예시를 선별하여, 소스 비디오의 모션 단서와 편집된 첫 번째 프레임의 시각적 변화를 결합하도록 모델을 학습합니다. Sync-LoRA는 외형 변경, 객체 추가, 배경 변경 등 다양한 편집에 대해 견고하게 작동하며, 높은 시각적 충실도와 강력한 시간적 일관성을 보입니다.

시사점, 한계점

고품질의 시각적 편집과 정확한 모션 보존 간의 균형을 유지합니다.
다양한 인물 및 편집 유형에 일반화됩니다.
자동 생성 및 필터링을 통한 훈련 데이터 큐레이션으로 정확한 동기화를 달성합니다.
구체적인 한계점은 논문에 명시되어 있지 않음 (하지만, 논문의 범위, 성능 및 활용 가능한 편집 유형에 대한 제한이 있을 수 있음).
👍