본 논문은 사이버 물리 시스템(CPS)에서 핵심적인 역할을 하는 시공간 추론 능력을 평가하기 위한 새로운 벤치마크 STARK를 제안합니다. STARK는 상태 추정, 상태에 대한 시공간 추론, 그리고 상황 및 도메인 지식을 통합하는 세계 지식 기반 추론의 세 가지 수준으로 구성된 26개의 다양한 시공간 과제(14,552개의 질문)를 포함합니다. 3개의 LRM과 8개의 LLM을 평가한 결과, LLM은 기하학적 추론이 필요한 과제에서 복잡성이 증가할수록 성능이 저하되는 반면, LRM은 다양한 난이도의 과제에서 견고한 성능을 보이며 기존의 기본 원리 기반 방법과 경쟁하거나 능가하는 것으로 나타났습니다. 세계 지식이 필요한 추론 과제에서는 LLM과 LRM 간의 성능 차이가 줄어들고 일부 LLM이 LRM을 능가하기도 하지만, o3 LRM은 모든 과제에서 최고의 성능을 유지했습니다. 이는 주로 LRM의 크기가 크기 때문으로 분석됩니다. STARK는 LLM과 LRM의 시공간 추론의 한계를 파악하고 지능형 CPS를 위한 모델 아키텍처 및 추론 패러다임의 혁신을 촉진하는 구조적 프레임워크를 제공합니다.
