# QSTRBench: a New Benchmark to Evaluate the Ability of Language Models to Reason with Qualitative Spatial and Temporal Calculi

### 저자

Anthony G. Cohn, Robert E. Blackwell

### 💡 개요

본 논문은 대규모 언어 모델(LLM)의 질적 공간 및 시간 추론 능력을 평가하기 위한 새로운 벤치마크인 QSTRBench를 제안한다. QSTRBench는 다양한 공간 및 시간 추론 계산법(점 대수, 앨런의 구간 대수, 지역 연결 계산법 등)에 대해 합성 추론, 역관계, 개념적 이웃 등에 관한 질문을 포함한다. 실험 결과, 모든 LLM이 무작위 추측보다 나은 성능을 보였지만, 어떠한 모델도 모든 질문에 일관되게 정답을 맞히지는 못했으며, 계산법에 따라 성능 편차가 크게 나타났다.

### 🔑 시사점 및 한계

- LLM의 질적 공간 및 시간 추론 능력을 체계적으로 평가할 수 있는 포괄적인 벤치마크를 제공한다.

- 현재 최첨단 LLM도 복잡한 질적 공간 및 시간 추론 문제 해결에 어려움을 겪고 있음을 보여준다.

- 향후 LLM의 질적 공간 및 시간 추론 능력 향상을 위한 연구 방향을 제시한다.

- 본 벤치마크는 공개되어 향후 연구에 활용될 수 있지만, 아직 모든 질적 공간 및 시간 추론 계산법과 시나리오를 포괄하지는 못할 수 있으며, 실제 세계의 복잡하고 동적인 상황을 완벽하게 반영하지는 못한다.

---

[PDF 보기](https://arxiv.org/pdf/2605.18380)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).