Inferring Event Descriptions from Time Series with Language Models
Created by
Haebom
Category
Empty
저자
Mingtian Tan, Mike A. Merrill, Zack Gottesman, Tim Althoff, David Evans, Tom Hartvigsen
개요
본 논문은 대규모 언어 모델(LLM)이 시계열 데이터로부터 자연어 이벤트를 추론할 수 있는지에 대한 최초의 연구이다. 농구와 미식축구 경기 4,200경기에서 수집한 승리 확률 데이터(170만 개의 시계열 데이터)와 해당 자연어 이벤트를 포함하는 새로운 벤치마크를 제작하여 16개의 LLM을 평가했다. 그 결과, OpenAI의 GPT-4o보다 성능이 뛰어난 DeepSeek-R1 32B 모델을 포함한 여러 LLM이 시계열 데이터로부터 이벤트를 추론하는 데 유망한 능력을 보여주는 것을 확인했다. 하지만 제공 컨텍스트, 이벤트 시퀀스 길이, 평가 전략을 변경할 때 모델의 성능 저하가 나타나는 등 개선의 여지가 있음을 발견했다. 모든 재현에 필요한 자료는 깃허브(https://github.com/BennyTMT/GAMETime)에서 공개한다.
시사점, 한계점
•
시사점:
◦
LLM이 시계열 데이터로부터 자연어 이벤트를 추론하는 데 유망한 성능을 보임을 최초로 입증.
◦
DeepSeek-R1 32B 모델이 기존 최고 성능 모델(GPT-4o)을 능가하는 성능을 보임.
