Sign In

TempoPFN: Synthetic Pre-training of Linear RNNs for Zero-shot Time Series Forecasting

Created by
  • Haebom
Category
Empty

저자

Vladyslav Moroshan, Julien Siems, Arber Zela, Timur Carstensen, Frank Hutter

개요

본 논문은 제로샷 시계열 예측을 위한 기반 모델인 TempoPFN을 제시한다. TempoPFN은 합성 데이터만을 사용하여 사전 훈련된 선형 RNN 기반 모델로, 효율적인 장기 예측과 재현성을 목표로 한다. GatedDeltaProduct 아키텍처와 state-weaving을 활용하여 시퀀스 길이에 관계없이 완전 병렬화된 학습을 가능하게 하며, 윈도우잉이나 요약 기법 없이도 견고한 시간적 상태 추적을 유지한다. 다양한 생성기(확률 미분 방정식, 가우시안 프로세스, 오디오 합성 등)와 새로운 증강 기법을 포함하는 포괄적인 합성 데이터 파이프라인을 구축했다. Gift-Eval 벤치마크에서 TempoPFN은 최상위권의 경쟁력을 보이며, 기존의 모든 합성 데이터 기반 접근 방식을 능가하고, 실제 데이터로 훈련된 대부분의 모델보다 뛰어난 성능을 보였다. 또한, 완전 병렬화된 학습 및 추론을 통해 기존의 기준 모델보다 효율적이다. 연구 재현성을 위해 데이터 생성 파이프라인과 학습 코드를 공개했다.

시사점, 한계점

시사점:
합성 데이터만으로 훈련된 모델이 제로샷 시계열 예측에서 우수한 성능을 달성할 수 있음을 입증.
GatedDeltaProduct 아키텍처와 state-weaving을 통해 효율적인 장기 예측 및 병렬화된 학습을 구현.
오픈소스를 통해 연구의 재현성을 확보하고, 후속 연구를 위한 기반을 제공.
한계점:
논문에서 직접적으로 언급된 한계점은 없음.
👍