본 논문은 비디오 인페인팅(손상된 비디오 내용 복원) 분야의 기존 방법들이 완전히 가려진 객체 생성 또는 배경 문맥 보존과 전경 생성 간의 균형 유지에 어려움을 겪는다는 점을 지적합니다. 이를 해결하기 위해, 본 논문은 효율적인 문맥 인코더를 활용하여 마스크된 비디오를 처리하고 사전 훈련된 비디오 DiT에 배경 문맥 정보를 주입하는 새로운 이중 스트림 패러다임인 VideoPainter를 제안합니다. 이는 모델의 학습 복잡성을 크게 줄이면서 중요한 배경 문맥의 정교한 통합을 가능하게 합니다. 또한 임의 길이의 비디오 인페인팅을 가능하게 하는 새로운 목표 영역 ID 리샘플링 기법과, 39만 개 이상의 다양한 클립으로 구성된 대규모 비디오 인페인팅 데이터셋 및 벤치마크인 VPData 및 VPBench를 제시합니다. 마지막으로, 비디오 편집 및 비디오 편집 쌍 데이터 생성과 같은 다운스트림 애플리케이션을 탐색하여 경쟁력 있는 성능과 실질적인 잠재력을 보여줍니다. 광범위한 실험을 통해 VideoPainter가 다양한 측정 기준에서 우수한 성능을 보임을 입증합니다.
시사점, 한계점
•
시사점:
◦
효율적인 문맥 인코더를 통한 배경 문맥 정보의 효과적인 활용으로 인페인팅 성능 향상.
◦
임의 길이 비디오 인페인팅을 가능하게 하는 새로운 목표 영역 ID 리샘플링 기법 제시.
◦
대규모 비디오 인페인팅 데이터셋 및 벤치마크인 VPData와 VPBench 제공.
◦
비디오 편집 및 관련 데이터 생성 등 다양한 다운스트림 애플리케이션에의 적용 가능성 제시.
