본 논문은 대규모 언어 모델(LLM)의 실세계 이해를 위해 필수적인 시간적 추론 능력 향상을 목표로, 실세계의 복잡한 시간적 정보 처리 과제를 고려한 새로운 벤치마크 TIME을 제안합니다. TIME 벤치마크는 38,522개의 질의응답 쌍으로 구성되며, 3개의 레벨과 11개의 세분화된 하위 작업으로 나뉘어져 있습니다. TIME-Wiki, TIME-News, TIME-Dial 세 개의 하위 데이터셋은 실세계의 다양한 시간적 추론 과제(방대한 시간 정보, 빠르게 변화하는 사건 역학, 복잡한 사회적 상호작용 속 시간적 의존성)를 반영합니다. 논문에서는 다양한 추론 모델과 비추론 모델에 대한 실험 결과와, 다양한 실세계 시나리오와 작업에 대한 시간적 추론 성능 분석, 그리고 테스트 시간 스케일링의 영향을 제시합니다. 추가적으로, 미래 연구와 표준화된 평가를 위해 인간이 주석을 단 TIME-Lite 하위 데이터셋도 공개합니다.
