Efficient Linear Attention for Multivariate Time Series Modeling via Entropy Equality
Created by
Haebom
Category
Empty
저자
Mingtao Zhang, Guoli Yang, Zhanxing Zhu, Mengzhu Wang, Xiaoying Bai
개요
본 논문은 복잡한 의존성을 포착하는 데 효과적인 어텐션 메커니즘을 시계열 모델링에 활용하되, 긴 시퀀스 처리 시 발생하는 계산 복잡성을 해결하기 위해 새로운 선형 어텐션 메커니즘을 제안합니다. 엔트로피를 활용하여 효율적인 근사 알고리즘을 개발하고, 이를 통해 선형 복잡도로 어텐션 메커니즘을 구현합니다. 실험을 통해 기존 방법 대비 우수한 예측 성능과 메모리 사용량 및 계산 시간의 상당한 감소를 보였습니다.
