Honghui Yang, Di Huang, Wei Yin, Chunhua Shen, Haifeng Liu, Xiaofei He, Binbin Lin, Wanli Ouyang, Tong He
개요
본 논문은 일관성 있고 확장 가능한 정답 데이터 부족으로 어려움을 겪어 온 비디오 깊이 추정 문제에 대해, 두 가지 핵심적인 혁신을 통해 해결책을 제시하는 Depth Any Video 모델을 소개합니다. 먼저, 다양한 가상 환경에서 실시간 비디오 깊이 데이터를 캡처하는 확장 가능한 합성 데이터 파이프라인을 개발하여 정밀한 깊이 주석이 포함된 5초 길이의 비디오 클립 4만 개를 생성했습니다. 둘째, 생성 비디오 확산 모델의 강력한 사전 지식을 활용하여 실제 비디오를 효과적으로 처리하고, 회전 위치 인코딩 및 흐름 매칭과 같은 고급 기술을 통합하여 유연성과 효율성을 더욱 향상시켰습니다. 고정 길이 비디오 시퀀스로 제한되는 이전 모델과 달리, 다양한 길이의 비디오를 처리하고 다양한 프레임 속도(단일 프레임도 포함)에서 강력하게 수행하는 새로운 혼합 지속 시간 훈련 전략을 도입했습니다. 추론 시 최대 150프레임의 시퀀스에 걸쳐 고해상도 비디오 깊이를 추론할 수 있도록 깊이 보간 방법을 제안합니다. 본 모델은 공간 정확도와 시간적 일관성 측면에서 기존의 모든 생성 깊이 모델을 능가하며, 코드와 모델 가중치는 오픈소스로 공개됩니다.
시사점, 한계점
•
시사점:
◦
대규모 합성 데이터 파이프라인을 통해 비디오 깊이 추정 문제에 대한 새로운 데이터 기반을 제공합니다.
◦
생성 비디오 확산 모델과 고급 기술들을 활용하여 실제 비디오에 대한 깊이 추정 성능을 크게 향상시켰습니다.
◦
다양한 길이와 프레임 속도의 비디오에 대해 강력한 성능을 보이는 혼합 지속 시간 훈련 전략을 제시합니다.
◦
고해상도 비디오 깊이 추론을 위한 효과적인 깊이 보간 방법을 제안합니다.
◦
코드와 모델 가중치를 오픈소스로 공개하여 연구 및 응용의 확장성을 높입니다.
•
한계점:
◦
합성 데이터에 의존하기 때문에 실제 세계의 다양한 조건에 대한 일반화 성능에 대한 추가적인 검증이 필요할 수 있습니다.
◦
150프레임 이상의 긴 비디오 시퀀스에 대한 성능 평가가 추가적으로 필요합니다.
◦
합성 데이터의 현실성 한계로 인해 실제 세계 데이터와의 차이로 인한 성능 저하 가능성이 존재합니다.
