OSMa-Bench est un pipeline d'évaluation OSM (Open Semantic Mapping) automatisé et configurable dynamiquement, basé sur LLM/LVLM. Cet article se concentre sur l'évaluation d'algorithmes de cartographie sémantique de pointe dans diverses conditions d'éclairage intérieur, en présentant un nouvel ensemble de données contenant des séquences RVB-D simulées et des reconstructions 3D de vérité terrain. Nous évaluons la fidélité sémantique de la reconnaissance et de la segmentation d'objets à l'aide de modèles de pointe tels que ConceptGraphs, BBQ et OpenScene, et analysons la capacité du modèle à interpréter les structures sémantiques grâce à une méthode d'évaluation de graphes de scènes. Les résultats expérimentaux fournissent un aperçu de la robustesse du modèle et suggèrent de futures pistes de recherche pour le développement de systèmes robotiques résilients et adaptatifs.