# TIME: A Multi-level Benchmark for Temporal Reasoning of LLMs in Real-World Scenarios

### 저자

Shaohang Wei, Wei Li, Feifan Song, Wen Luo, Tianyi Zhuang, Haochen Tan, Zhijiang Guo, Houfeng Wang

### 개요

본 논문은 대규모 언어 모델(LLM)의 실세계 시간적 추론 능력 향상을 위해, 실세계의 도전 과제(집약적인 시간 정보, 빠르게 변화하는 사건 역학, 사회적 상호 작용의 복잡한 시간적 의존성)를 고려한 다층적 벤치마크 TIME을 제안합니다. TIME은 38,522개의 질의응답 쌍으로 구성되며, 3개의 수준과 11개의 세분화된 하위 작업으로 나뉩니다.  TIME-Wiki, TIME-News, TIME-Dial 세 개의 하위 데이터셋은 서로 다른 실세계 과제를 반영합니다.  논문에서는 추론 모델과 비추론 모델에 대한 광범위한 실험 결과와 다양한 실제 시나리오 및 작업 전반의 시간적 추론 성능에 대한 심층 분석, 그리고 테스트 시간 스케일링의 영향을 요약합니다.  추가적으로, 미래 연구와 표준화된 평가를 촉진하기 위해, 사람이 주석을 단 하위 집합인 TIME-Lite도 공개합니다.  코드는 [https://github.com/sylvain-wei/TIME](https://github.com/sylvain-wei/TIME) 에서, 데이터셋은 [https://huggingface.co/datasets/SylvainWei/TIME](https://huggingface.co/datasets/SylvainWei/TIME) 에서 이용 가능합니다.

[SylvainWei/TIME · Datasets at Hugging Face](https://huggingface.co/datasets/SylvainWei/TIME)

[GitHub - sylvain-wei/TIME: This is an official repository for TIME](https://github.com/sylvain-wei/TIME)

### 시사점, 한계점

- **시사점:**

    - 실세계 시간적 추론 과제를 반영한 새로운 벤치마크 TIME을 제시하여 LLM의 시간적 추론 능력 평가 및 향상에 기여.

    - 다양한 실제 시나리오(Wiki, News, Dialogue)를 포함하는 다층적이고 세분화된 평가 기준 제공.

    - 테스트 시간 스케일링이 시간적 추론 능력에 미치는 영향 분석.

    - 미래 연구를 위한 human-annotated subset인 TIME-Lite 제공.

    - 개방형 코드 및 데이터셋 공개를 통한 연구 공유 및 재현성 증대.

- **한계점:**

    - 벤치마크의 범위와 일반화 가능성에 대한 추가적인 검토 필요.

    - 특정 언어 또는 문화적 편향 가능성 존재.

    - 실세계의 모든 시간적 추론 과제를 완벽히 포괄하지 못할 가능성.

[PDF 보기](https://arxiv.org/pdf/2505.12891)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).