Transformer 기반 아키텍처는 자연어 처리와 컴퓨터 비전 분야에서 괄목할 만한 성공을 거두었지만, 다변량 장기 예측에서는 단순한 선형 기준 모델보다 성능이 떨어지는 경우가 많았습니다. 기존 연구에서는 기존의 어텐션 메커니즘이 이 분야에서 Transformer의 효과를 제한하는 주요 요인으로 밝혀졌습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Transformer 기반 시계열 예측에서 흔히 발생하는 엔트로피 붕괴 및 훈련 불안정성을 완화하도록 설계된 새로운 접근 방식인 LATST를 제시합니다. 여러 실제 다변량 시계열 데이터 세트에 대한 엄격한 평가를 통해 LATST가 기존 최첨단 Transformer 모델보다 우수한 성능을 발휘함을 보여줍니다. 특히 LATST는 특정 데이터 세트에서 일부 선형 모델보다 적은 매개변수로 경쟁력 있는 성능을 달성하여 효율성과 효과를 강조합니다.
