본 논문은 시계열 예측에서 장기 의존성을 포착하는 데 뛰어난 Transformer 모델의 한계점을 해결하고자 제안된 연구입니다. 기존 Transformer 모델들은 시간적 의존성에만 집중하여 변수 간 복잡한 관계를 고려하지 못하는 단점이 있습니다. 본 논문에서는 모든 레이어에서 채널 의존적인(CD) 기존 모델들의 과적합 문제를 해결하기 위해, 채널 독립적인(CI) 모델에 변수 간 상호작용을 효과적으로 주입하는 경량의 CD 모듈인 Cross-Variate Patch Embeddings (CVPE)를 제안합니다. CVPE는 기존 패치 임베딩 레이어에 학습 가능한 위치 인코딩과 경량 라우터-어텐션 블록을 추가하여 변수 간 컨텍스트를 주입합니다. 본 논문에서는 다중 모드 CI 예측 모델인 Time-LLM에 CVPE를 통합하여 그 효과를 보여주며, 7개의 실제 데이터셋에 대한 실험 결과를 통해 CVPE를 추가하는 것만으로 Time-LLM의 성능이 향상됨을 보여줍니다.
