Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Extension des estimateurs de profondeur monoculaires fondamentaux aux caméras fisheye avec des jetons d'étalonnage
Created by
Haebom
Auteur
Suchisrit Gangopadhyay, Jung-Hee Kim, Xien Chen, Patrick Rim, Parc Hyoungseob, Alex Wong
Contour
Cet article propose une méthode d'adaptation d'estimateurs de profondeur monoculaires (FMDE) de base, entraînés sur des images perspective conventionnelles, aux images fisheye. Bien qu'entraînés sur des dizaines de millions d'images, les FMDE sont susceptibles de subir des décalages de covariables dus aux modifications des paramètres d'étalonnage de la caméra (intrinsèques et de distorsion), ce qui entraîne des estimations de profondeur erronées. Notre méthode aligne la distribution des plongements latents codant les images fisheye avec celle des images perspective, permettant ainsi la réutilisation des FMDE sur les caméras fisheye sans réentraînement ni réglage fin. Pour ce faire, nous introduisons un ensemble de jetons d'étalonnage comme mécanisme adaptatif léger qui ajuste les plongements latents pour obtenir l'alignement. Nous émettons l'hypothèse qu'en exploitant l'espace latent déjà expressif des FMDE, nous pouvons éviter les effets négatifs d'un recalibrage conventionnel ou d'une projection cartographique de l'espace image vers un référentiel standard. Notre méthode utilise l'apprentissage auto-supervisé et exploite un vaste ensemble de données d'images perspective accessibles au public, sans nécessiter d'images fisheye. Ceci est réalisé en recalibrant les images en perspective en images fisheye et en améliorant la cohérence entre les estimations pendant l'apprentissage. Nous avons évalué cette approche en intérieur et en extérieur à l'aide de plusieurs FMDE, démontrant des améliorations de performances constantes par rapport aux méthodes de pointe avec un seul ensemble de jetons. Le code est disponible à l' adresse https://github.com/JungHeeKim29/calibration-token .
En rendant le modèle d’estimation de profondeur monoculaire existant applicable aux images fisheye, il est possible d’étendre divers domaines d’application utilisant des caméras fisheye.
◦
Adaptabilité aux images fisheye à l'aide de jetons de correction légers sans recyclage ni réglage fin.
◦
Obtenir une adaptation efficace et une réduction des artefacts grâce à la manipulation de l'espace latent sans transformation de l'espace image.
◦
La méthode d’apprentissage auto-supervisé permet d’apprendre sans ensemble de données d’images fisheye.
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires pour déterminer les performances de généralisation du jeton de correction. Une polyvalence sur différents modèles de caméras fisheye et niveaux de distorsion est également nécessaire.
◦
Les performances de la méthode proposée peuvent dépendre des FMDE et des ensembles de données d’images en perspective utilisés.
◦
Une évaluation supplémentaire des performances à l'aide d'ensembles de données d'images fisheye réelles peut être nécessaire.
