Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

WinT3R : Reconstruction de flux basée sur une fenêtre avec pool de jetons de caméra

Created by
  • Haebom

Auteur

Zizun Li, Jianjun Zhou, Yifan Wang, Haoyu Guo, Wenzheng Chang, Yang Zhou, Haoyi Zhu, Junyi Chen, Chunhua Shen, Tong He

Contour

WinT3R est un modèle de reconstruction à anticipation capable d'estimer des poses de caméra précises et des cartes de points de haute qualité en temps réel. Les méthodes existantes souffrent d'un compromis entre qualité de reconstruction et performances en temps réel. WinT3R introduit un mécanisme de fenêtre glissante pour garantir un échange d'informations suffisant entre les images d'une même fenêtre, améliorant ainsi la qualité de la prédiction géométrique sans surcharge de calcul significative. De plus, il exploite une représentation compacte de la caméra et gère un pool global de jetons de caméra pour améliorer la fiabilité de l'estimation de la pose de la caméra sans compromettre l'efficacité. Grâce à des expérimentations approfondies sur divers jeux de données, WinT3R démontre des performances de pointe en matière de qualité de reconstruction en ligne, d'estimation de la pose de la caméra et de vitesse de reconstruction. Le code et le modèle sont accessibles au public à l' adresse https://github.com/LiZizun/WinT3R .

Takeaways, Limitations

Takeaways:
Nous démontrons qu'une reconstruction 3D en temps réel et de haute qualité est possible à l'aide d'un mécanisme de fenêtre coulissante, d'une représentation de caméra compacte et d'un pool de jetons de caméra global.
Résout efficacement le compromis entre la qualité de la reconstruction et les performances en temps réel des méthodes existantes.
Obtenir des performances de pointe en matière de qualité de reconstruction en ligne, d'estimation de la pose de la caméra et de vitesse de reconstruction.
Assurer la reproductibilité et l’évolutivité de la recherche en rendant le code et les modèles publics.
Limitations:
Cet article n'aborde pas spécifiquement le Limitations. D'autres expériences ou analyses sont nécessaires pour identifier le Limitations. Par exemple, cela peut inclure la sensibilité à certains types de bruit de scène ou de capteur, ou des limitations en termes de puissance de calcul et d'utilisation de la mémoire.
👍