본 논문은 동작 전이 기반 비디오 애플리케이션(영상 회의, 가상 현실 상호작용, 건강 모니터링 시스템, 시각 기반 실시간 이상 감지 등)의 대역폭을 크게 최적화하기 위해 설계된 심층 학습 프레임워크를 제안한다. 복잡한 움직임을 효과적으로 포착하기 위해, 주요점과 관련된 국소적 아핀 변환을 감지하여 동적 객체를 인코딩하는 First Order Motion Model (FOMM)을 활용한다. 자기 지도 학습 기반 주요점 검출기를 사용하여 주요점을 식별하고, 연속적인 프레임에 해당하는 시계열로 정렬한다. Variational Recurrent Neural Network (VRNN)과 Gated Recurrent Unit with Normalizing Flow (GRU-NF)라는 두 가지 고급 생성 시계열 모델을 동작 전이 파이프라인에 통합하여 이러한 주요점에 대한 예측을 수행한다. 예측된 주요점은 광학 흐름 추정기와 생성자 네트워크를 쌍으로 사용하여 사실적인 비디오 프레임으로 합성되어 정확한 비디오 예측을 가능하게 하고 효율적인 저 프레임 속도 비디오 전송을 가능하게 한다. 비디오 애니메이션 및 재구성을 위한 세 가지 데이터 세트에서 평균 절대 오차, Joint Embedding Predictive Architecture Embedding Distance, 구조적 유사성 지수, 평균 쌍별 변위 등의 지표를 사용하여 결과를 검증한다. VRNN 통합 FOMM은 Variational Autoencoder의 우수한 재구성 특성을 활용하여 영상 회의와 같은 다단계 예측이 포함된 애플리케이션에서 탁월한 성능을 보인다. 반면, 정확한 가능도 추정을 위한 Normalizing Flow 아키텍처를 활용하고 효율적인 잠재 공간 샘플링을 가능하게 함으로써, GRU-NF 기반 FOMM은 실시간 비디오 기반 이상 감지와 같은 작업에 대해 높은 시각적 품질을 유지하면서 다양한 미래 샘플을 생성하는 데 우수한 기능을 보여준다.
