Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

OSMa-Bench : Évaluation de la cartographie sémantique ouverte dans des conditions d'éclairage variables

Created by
  • Haebom

Auteur

Maxim Popov, Regina Kurkova, Mikhaïl Iumanov, Jaafar Mahmoud, Sergey Kolyubin

Contour

OSMa-Bench est un pipeline d'évaluation OSM (Open Semantic Mapping) automatisé et configurable dynamiquement, basé sur LLM/LVLM. Cet article se concentre sur l'évaluation d'algorithmes de cartographie sémantique de pointe dans diverses conditions d'éclairage intérieur, en présentant un nouvel ensemble de données contenant des séquences RVB-D simulées et des reconstructions 3D de vérité terrain. Nous évaluons la fidélité sémantique de la reconnaissance et de la segmentation d'objets à l'aide de modèles de pointe tels que ConceptGraphs, BBQ et OpenScene, et analysons la capacité du modèle à interpréter les structures sémantiques grâce à une méthode d'évaluation de graphes de scènes. Les résultats expérimentaux fournissent un aperçu de la robustesse du modèle et suggèrent de futures pistes de recherche pour le développement de systèmes robotiques résilients et adaptatifs.

Takeaways, Limitations

Takeaways:
Nous présentons un nouveau benchmark (OSMa-Bench) qui permet une évaluation systématique des performances de l'algorithme OSM dans diverses conditions d'éclairage.
Analyse rigoureuse des performances possible avec des ensembles de données RVB-D simulés et des reconstructions 3D correctes.
ÉValuation de la capacité du modèle à interpréter les structures sémantiques à l'aide d'une méthode d'évaluation de graphe de scène.
Analyser les forces et les faiblesses des modèles OSM de pointe pour suggérer des orientations de recherche futures.
Limitations:
Les évaluations basées sur des données de simulation peuvent ne pas refléter pleinement les performances dans des environnements réels.
Les modèles évalués peuvent être limités.
Des études plus approfondies sont nécessaires sur l’objectivité et la généralisabilité des méthodes d’évaluation des graphes de scènes.
👍