Lightweight Transformer via Unrolling of Mixed Graph Algorithms for Traffic Forecast
Created by
Haebom
저자
Ji Qi, Tam Thuc Do, Mingxiao Liu, Zhuoshi Pan, Yuzhe Li, Gene Cheung, H. Vicky Zhao
개요
본 논문은 공간 및 시간적 차원을 모두 고려한 교통량 예측을 위해 혼합 그래프 기반 최적화 알고리즘을 경량화되고 해석 가능한 트랜스포머 유사 신경망으로 전개하는 방법을 제시합니다. 공간적 상관관계를 포착하는 무향 그래프 $\mathcal{G}^u$ 와 시간적 순차 관계를 포착하는 유향 그래프 $\mathcal{G}^d$ 두 가지 그래프를 구성하고, $\mathcal{G}^u$ 와 $\mathcal{G}^d$ 에 대해 "매끄러운" 신호 $\mathbf{x}$ 의 미래 샘플에 대한 예측 문제를 공식화합니다. 신호의 매끄러움(저주파 재구성)을 정량화하고 향상시키기 위해 유향 그래프 상에서 새로운 $\ell_2$ 와 $\ell_1$ 놈 변분항을 설계합니다. ADMM(Alternating Direction Method of Multipliers) 기반의 반복 알고리즘을 구성하고, 데이터 기반 매개변수 학습을 위해 피드포워드 네트워크로 전개합니다. 기존 트랜스포머의 자기 주의 메커니즘과 유사하게 $\mathcal{G}^u$ 와 $\mathcal{G}^d$ 를 위한 그래프 학습 모듈을 삽입합니다. 실험 결과, 제안된 전개 네트워크는 최첨단 예측 방식과 비교하여 경쟁력 있는 교통량 예측 성능을 달성하면서 매개변수 수를 획기적으로 줄이는 것을 보여줍니다. 코드는 https://github.com/SingularityUndefined/Unrolling-GSP-STForecast 에서 이용 가능합니다.
