Toto 2.0: Time Series Forecasting Enters the Scaling Era

작성자

Haebom

카테고리

Empty

저자

Emaad Khwaja, Chris Lettieri, Gerald Woo, Eden Belouadah, Marc Cenac, Guillaume Jarry, Enguerrand Paquin, Xunyi Zhao, Viktoriya Zhukov, Othmane Abou-Amal, Chenghao Liu, Ameet Talwalkar, David Asker

💡 개요

본 논문은 시계열 예측 모델의 규모 확장이 예측 품질을 꾸준히 향상시킨다는 것을 보여줍니다. 이를 바탕으로 4백만 개에서 25억 개까지 다양한 파라미터 규모를 가진 Toto 2.0 모델군을 공개하며, 이는 BOOM, GIFT-Eval, TIME 세 가지 벤치마크에서 모두 최신 성능을 달성했습니다. 본 보고서는 Toto 2.0의 아키텍처, 학습 방식, 학습 데이터, 그리고 u-muP 하이퍼파라미터 전이 파이프라인에 대한 설계 결정과 실험 결과를 상세히 설명합니다.

🔑 시사점 및 한계

•

시계열 예측 분야에서도 거대 모델(Foundation Model)의 규모 확장이 효과적이며, 단일 학습 레시피로도 예측 성능 향상이 가능함을 입증했습니다.

•

Toto 2.0 모델군 공개를 통해 다양한 규모의 오픈 소스 시계열 예측 모델을 제공하여 연구 및 산업계에 기여할 것으로 기대됩니다.

•

본 연구는 특정 학습 레시피와 데이터셋에 기반하므로, 다른 시계열 도메인이나 학습 방식에 대한 일반화 가능성을 추가적으로 검증할 필요가 있습니다.

PDF 보기

Made with Slashpage