MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering
Created by
Haebom
Category
Empty
저자
Jialin Chen, Aosong Feng, Ziyu Zhao, Juan Garza, Gaukhar Nurbek, Cheng Qin, Ali Maatouk, Leandros Tassiulas, Yifeng Gao, Rex Ying
개요
MTBench는 금융 및 기상 분야의 시계열 데이터와 텍스트 데이터를 짝지어 제공하는 대규모 벤치마크입니다. 기존의 단일 모달리티에 집중하는 벤치마크와 달리, MTBench는 구조화된 수치적 추세와 비구조화된 텍스트 서술을 함께 추론하는 모델을 위한 포괄적인 테스트베드를 제공합니다. 시계열 예측, 의미 및 기술적 추세 분석, 뉴스 기반 질의응답(QA) 등 다양한 과제를 통해 모델의 시간적 의존성 파악, 텍스트 맥락에서의 주요 통찰력 추출 및 교차 모달 정보 통합 능력을 평가합니다. 본 연구에서는 최첨단 LLMs를 MTBench에서 평가하여 뉴스 서술과 시간적 패턴 간의 복잡한 관계를 모델링하는 데 있어서의 효과성을 분석합니다.
시사점, 한계점
•
시사점:
◦
금융 및 기상 분야에서 시계열 데이터와 텍스트 데이터 간의 관계를 이해하는 데 도움이 되는 대규모 벤치마크를 제공합니다.
◦
LLMs의 시계열 및 텍스트 이해 능력을 종합적으로 평가할 수 있는 기반을 마련합니다.
◦
시계열 예측, 추세 분석, 질의응답 등 다양한 과제를 통해 모델의 성능을 다각적으로 분석할 수 있습니다.
•
한계점:
◦
현재 모델들이 장기 의존성 파악, 인과 관계 해석, 다중 모달 정보 융합에 어려움을 겪는다는 것을 보여줍니다.
