Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Ada-MoGE: Adaptive Mixture of Gaussian Expert Model for Time Series Forecasting

Created by
  • Haebom
Category
Empty

저자

Zhenliang Ni, Xiaowen Ma, Zhenkai Wu, Shuai Xiao, Han Shu, Xinghao Chen

개요

다변량 시계열 예측은 산업, 교통, 금융 등 다양한 분야에서 널리 사용되지만, 데이터의 스펙트럼 분포 변화에 따라 시계열의 지배적인 주파수가 변동될 수 있다. 기존의 고정된 전문가 수를 사용하는 Mixture of Experts (MoE) 모델은 이러한 변화에 적응하는 데 어려움을 겪어 주파수 커버리지 불균형 문제를 발생시킨다. 본 논문은 이러한 문제를 해결하기 위해, 스펙트럼 강도와 주파수 응답을 통합하여 전문가 수를 적응적으로 결정하는 Ada-MoGE (adaptive Gaussian Mixture of Experts) 모델을 제안한다. Ada-MoGE는 전문가 부족으로 인한 정보 손실과 과도한 전문가로 인한 노이즈를 방지하며, Gaussian band-pass 필터링을 사용하여 주파수 영역 특징을 부드럽게 분해하여 특징 표현을 최적화한다. 실험 결과, Ada-MoGE는 0.2백만 개의 파라미터만을 사용하여 여섯 개의 공개 벤치마크에서 최첨단 성능을 달성했다.

시사점, 한계점

시사점:
다변량 시계열 예측에서 주파수 변화에 대한 적응력 향상
전문가 수의 동적 조절을 통한 정보 손실 및 노이즈 문제 해결
Gaussian band-pass 필터링을 활용한 특징 표현 최적화
적은 파라미터로 최첨단 성능 달성
한계점:
논문에 구체적인 한계점에 대한 언급 없음
👍