On the Integration of Spatial-Temporal Knowledge: A Lightweight Approach to Atmospheric Time Series Forecasting
Created by
Haebom
저자
Yisong Fu, Fei Wang, Zezhi Shao, Boyu Diao, Lin Wu, Zhulin An, Chengqing Yu, Yujie Li, Yongjun Xu
개요
본 논문은 대기 시간 시계열 예측(ATSF)에서 Transformer의 복잡한 구조로 인한 과도한 매개변수 수와 긴 학습 시간 문제를 해결하기 위해, 대기 역학의 이론적 관점에서 ATSF를 재검토합니다. 공간-시간 위치 임베딩(STPE)이 어텐션 메커니즘 없이도 공간-시간 상관관계를 모델링할 수 있다는 핵심적인 통찰을 제시합니다. 이를 바탕으로, STPE와 MLP 아키텍처만을 사용하는 경량 모델 STELLA를 제안합니다. STELLA는 1만 개의 매개변수와 1시간의 학습으로 다섯 개의 데이터셋에서 기존 최첨단 방법보다 우수한 성능을 달성합니다. 복잡한 아키텍처보다 공간-시간 지식 통합의 효과성을 강조하며, ATSF에 대한 새로운 통찰을 제공합니다.
시사점, 한계점
•
시사점:
◦
Transformer의 복잡성을 극복하고 경량화된 모델로 ATSF의 성능 향상을 달성.
◦
STPE를 이용한 공간-시간 지식 통합의 효과성을 실증적으로 보여줌.
◦
1만개의 매개변수와 1시간의 학습으로 우수한 성능을 달성하여, 확장성 및 효율성을 크게 개선.