Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling

Created by

Haebom

저자

Yong Liu, Xingjian Su, Shiyu Wang, Haoran Zhang, Haixuan Liu, Yuxuan Wang, Zhou Ye, Yang Xiang, Jianmin Wang, Mingsheng Long

💡 개요

본 논문은 83억 개의 전체 파라미터를 가진 강력한 Mixture-of-Experts (MoE) 기반 시계열 기초 모델인 Timer-S1을 제안합니다. 기존 시계열 기초 모델의 확장성 문제를 극복하기 위해 모델 아키텍처, 데이터셋, 훈련 파이프라인 세 가지 차원에서 직렬 스케일링(Serial Scaling)을 적용했습니다. Timer-S1은 시계열 예측의 본질적인 직렬성을 반영하는 직렬 토큰 예측(Serial-Token Prediction, STP)이라는 일반적인 훈련 목표를 위해 희소한 TimeMoE 블록과 일반적인 TimeSTP 블록을 통합하여 장기 예측 성능을 향상시키고 오류 누적을 방지합니다.

🔑 시사점 및 한계

•

시계열 예측을 위한 효율적인 MoE 기반 기초 모델 아키텍처와 직렬 토큰 예측(STP) 훈련 방법론을 제시하여 기존 모델의 확장성 및 장기 예측 성능 한계를 극복했습니다.

•

1조 개의 시계열 데이터 포인트로 구성된 대규모 데이터셋(TimeBench)과 세심한 데이터 증강을 통해 모델의 편향을 줄이고 예측 품질을 높였습니다.

•

Transformer 기반 모델의 장기 예측 성능을 향상시키면서도 롤링(rolling) 추론 방식의 비용과 오류 누적 문제를 효과적으로 완화했습니다.

•

모델의 파라미터 크기가 매우 크기 때문에 계산 및 메모리 요구 사항이 높을 수 있으며, 실제 배포 시 이러한 제약 사항을 고려해야 합니다.

PDF 보기

Made with Slashpage