본 논문은 시계열 예측에서 장기 의존성을 포착하는 트랜스포머의 능력에 주목하면서, 기존 모델들이 시간적 의존성만 고려하고 변수 간 복잡한 관계를 간과하는 문제점을 지적합니다. 기존의 시계열 예측 모델들은 순차적 또는 통합된 어텐션 메커니즘을 통해 시간적 및 변수 간 의존성을 명시적으로 모델링하려는 시도를 했지만, 모든 계층에서 채널 의존적(CD)이기 때문에 과적합될 가능성이 있습니다. 이를 해결하기 위해, 본 논문에서는 경량의 채널 독립적(CI) 모델에 변수 간 맥락을 주입하는 경량 CD 모듈인 Cross-Variate Patch Embeddings (CVPE)를 제안합니다. CVPE는 패치 임베딩 과정을 수정하여 학습 가능한 위치 인코딩과 경량 라우터-어텐션 블록을 기존 패치 임베딩 계층에 추가합니다. 본 논문에서는 다중 모드 CI 예측 모델인 Time-LLM에 CVPE를 통합하여 변수 간 의존성을 포착하고 CI 모델의 성능을 향상시키는 효과를 보여줍니다. 7개의 실제 데이터셋에 대한 광범위한 실험 결과는 CVPE 모듈을 추가하는 것만으로도 기존 Time-LLM 모델의 성능을 능가함을 보여줍니다.
