OSMa-Bench là một quy trình đánh giá Ánh xạ Ngữ nghĩa Mở (OSM) có thể cấu hình động và tự động dựa trên LLM/LVLM. Bài báo này tập trung vào việc đánh giá các thuật toán ánh xạ ngữ nghĩa tiên tiến trong các điều kiện ánh sáng trong nhà khác nhau, giới thiệu một tập dữ liệu mới chứa các chuỗi RGB-D mô phỏng và các tái tạo 3D thực tế. Chúng tôi đánh giá độ trung thực ngữ nghĩa của nhận dạng và phân đoạn đối tượng bằng các mô hình hàng đầu như ConceptGraphs, BBQ và OpenScene, đồng thời phân tích khả năng diễn giải các cấu trúc ngữ nghĩa của mô hình bằng phương pháp đánh giá đồ thị cảnh. Các kết quả thực nghiệm cung cấp cái nhìn sâu sắc về độ bền vững của mô hình và gợi ý các hướng nghiên cứu trong tương lai để phát triển các hệ thống robot linh hoạt và thích ứng.
