EMTSF:Extraordinary Mixture of SOTA Models for Time Series Forecasting
Created by
- Haebom
Category
Empty
저자
Musleh Alharthi, Kaleel Mahmood, Sarosh Patel, Ausif Mahmood
개요
Transformer 아키텍처의 성공적인 NLP 적용 이후 시계열 예측(TSF) 분야에서도 Transformer 기반 모델의 우수성이 입증되었으나, 단순 선형 모델이 더 나은 성능을 보인다는 반론이 제기되었습니다. 이후 PatchTST, TimeLLM 등의 모델이 등장하며 성능 경쟁이 심화되었고, 특히 LLM을 TSF에 적용하는 연구가 진행되었습니다. 본 논문에서는 TSF 데이터의 특징과 최신 연구 동향을 바탕으로 xLSTM, enhanced Linear, PatchTST, minGRU 등 다양한 SOTA 모델을 통합한 강력한 Mixture of Experts (MoE) 프레임워크를 제안합니다. 제안된 모델은 Transformer 기반 MoE 게이팅 네트워크를 통해 기존 TSF 모델 및 최신 MoE 기반 접근 방식을 능가하는 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
다양한 SOTA 모델을 MoE 프레임워크로 통합하여 TSF 성능을 향상시킴.
◦
Transformer 기반 MoE 게이팅 네트워크를 활용하여 모델 간의 효과적인 결합을 달성.
◦
기존 TSF 모델 및 최신 MoE 기반 접근 방식 대비 우수한 성능을 입증.
•
한계점:
◦
구체적인 모델 아키텍처, 훈련 과정, 하이퍼파라미터 설정 등에 대한 정보 부족.
◦
제안된 모델의 일반화 능력 및 실제 환경에서의 적용 가능성에 대한 추가적인 검증 필요.
◦
MoE 프레임워크의 복잡성으로 인한 계산 비용 증가 가능성.
