Reangle-A-Video est un framework intégré permettant de générer des vidéos multivues synchronisées à partir d'une seule vidéo d'entrée. Contrairement aux approches classiques qui entraînent des modèles de diffusion vidéo multivues sur des jeux de données 4D à grande échelle, notre méthode recadre la génération vidéo multivues comme une transformation vidéo-vidéo en exploitant des a priori de diffusion d'images et de vidéos accessibles au public. Reangle-A-Video fonctionne en deux étapes. Premièrement, il ajuste de manière synchrone et auto-supervisée un transformateur de diffusion image-vidéo afin d'extraire le mouvement invariant à la vue d'un ensemble de vidéos déformées. Deuxièmement, il déforme et remplit la première image de la vidéo d'entrée avec différents points de vue de caméra à l'aide de DUSt3R, en suivant les directives de cohérence temporelle inter-vues inférées, afin de générer une image de départ cohérente multivues. Des expériences approfondies sur le transfert de vues statiques et le contrôle dynamique des caméras démontrent que Reangle-A-Video surpasse les méthodes existantes, offrant une solution innovante pour la génération vidéo multivues. Le code et les données seront rendus publics.
