전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다. 본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다. 논문에 대한 저작권은 저자 및 해당 기관에 있으며, 요약본 공유 시 출처만 명기하면 됩니다. This service is supported by Google Gemini.
본 논문은 대규모 언어 모델(LLM)의 실세계 시간적 추론 능력 향상을 위해, 실세계의 도전 과제(집약적인 시간 정보, 빠르게 변화하는 사건 역학, 사회적 상호 작용의 복잡한 시간적 의존성)를 고려한 다층적 벤치마크 TIME을 제안합니다. TIME은 38,522개의 질의응답 쌍으로 구성되며, 3개의 수준과 11개의 세분화된 하위 작업으로 나뉩니다. TIME-Wiki, TIME-News, TIME-Dial 세 개의 하위 데이터셋은 서로 다른 실세계 과제를 반영합니다. 논문에서는 추론 모델과 비추론 모델에 대한 광범위한 실험 결과와 다양한 실제 시나리오 및 작업 전반의 시간적 추론 성능에 대한 심층 분석, 그리고 테스트 시간 스케일링의 영향을 요약합니다. 추가적으로, 미래 연구와 표준화된 평가를 촉진하기 위해, 사람이 주석을 단 하위 집합인 TIME-Lite도 공개합니다. 코드는 https://github.com/sylvain-wei/TIME 에서, 데이터셋은 https://huggingface.co/datasets/SylvainWei/TIME 에서 이용 가능합니다.