OSMa-Bench는 LLM/LVLM 기반의 동적으로 구성 가능하고 자동화된 오픈 세맨틱 매핑(OSM) 평가 파이프라인이다. 본 논문은 다양한 실내 조명 조건 하에서 최첨단 세맨틱 매핑 알고리즘을 평가하는 데 중점을 두며, 시뮬레이션된 RGB-D 시퀀스와 정답 3D 재구성을 포함하는 새로운 데이터셋을 소개한다. ConceptGraphs, BBQ, OpenScene과 같은 주요 모델들을 사용하여 객체 인식 및 분할의 의미적 충실도를 평가하고, 장면 그래프 평가 방법을 도입하여 모델의 의미 구조 해석 능력을 분석한다. 실험 결과는 모델의 강건성에 대한 통찰력을 제공하며, 탄력적이고 적응력 있는 로봇 시스템 개발을 위한 미래 연구 방향을 제시한다.