VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters
Created by
Haebom
저자
Mouxiang Chen, Lefei Shen, Zhuo Li, Xiaoyun Joy Wang, Jianling Sun, Chenghao Liu
개요
기존 시계열 예측(TSF) 기반 모델들은 대규모 언어 모델(LLM)을 재활용하거나 대규모 시계열 데이터셋을 구축하는 방식으로 개발되어 도메인 간 차이 또는 도메인 내 이질성 문제에 직면한다. 본 논문은 풍부하고 고품질의 자연 이미지로부터 TSF 기반 모델을 구축하는 새로운 방법을 제시한다. ImageNet 데이터셋으로 사전 훈련된 비주얼 마스크 자동 인코더를 수치 시계열 예측기로 활용하는 것이 핵심 아이디어이다. TSF를 이미지 재구성 작업으로 재구성하여 이미지 사전 훈련과 TSF 하위 작업 간의 간극을 해소한다. 놀랍게도, 시계열 도메인에서 추가적인 적응 없이도 제안된 VisionTS는 기존 TSF 기반 모델보다 더 나은 제로샷 예측 성능을 달성한다. 한 에폭의 미세 조정을 통해 VisionTS는 예측 성능을 더욱 향상시켜 대부분의 경우 최첨단 성능을 달성한다. 광범위한 실험을 통해 이미지와 실제 시계열 간의 고유한 유사성을 밝히고, 비주얼 모델이 TSF에 대한 "공짜 점심"을 제공할 수 있으며 향후 교차 모드 연구의 잠재력을 강조한다. 코드는 https://github.com/Keytoyze/VisionTS 에서 공개적으로 이용 가능하다.
