본 논문은 사이버 물리 시스템(CPS)에서 핵심적인 역할을 하는 시공간 추론에 대해, 대규모 언어 모델(LLM)과 대규모 추론 모델(LRM)의 성능을 체계적으로 평가하기 위한 계층적 시공간 추론 벤치마크 STARK를 제안합니다. STARK는 상태 추정, 상태에 대한 시공간 추론, 그리고 상황 및 도메인 지식을 통합하는 세계 지식 기반 추론의 세 가지 수준으로 구성된 26개의 다양한 시공간 과제(14,552개의 챌린지)를 포함합니다. 3개의 LRM과 8개의 LLM을 평가한 결과, LLM은 기하학적 추론이 필요한 과제(예: 다측위 또는 삼각측량)에서 복잡성이 증가함에 따라 성능이 제한적임을 확인했습니다. 반면 LRM은 다양한 난이도의 과제에서 견고한 성능을 보였으며, 종종 기존의 기본 원칙 기반 방법과 경쟁하거나 능가했습니다. 세계 지식이 필요한 추론 과제에서는 LLM과 LRM 간의 성능 차이가 줄어들었고, 일부 LLM은 LRM을 능가하기도 했습니다. 그러나 LRM o3 모델은 모든 평가된 과제에서 최고의 성능을 지속적으로 보였는데, 이는 주로 더 큰 크기의 추론 모델 때문으로 분석됩니다. STARK는 LLM과 LRM의 시공간 추론의 한계를 파악하는 구조적 프레임워크를 제공하여 지능형 CPS를 위한 모델 아키텍처 및 추론 패러다임의 미래 혁신을 촉진합니다.
