본 논문은 사전 훈련된 거대 언어 모델(LLM)을 활용한 시계열 예측에서 기존의 토큰 수준 또는 계층 수준 특징 매핑을 통한 언어-시간 모달리티 정렬 전략의 한계를 지적한다. LLM의 핵심 역량은 국소적인 토큰 특징 처리가 아닌 전체 시퀀스 구조 모델링에 있음을 강조하며, 효과적인 교차 모달리티 정렬을 위해 시퀀스 수준의 구조적 일관성이 필요하다고 주장한다. 이에 따라, 시계열과 언어 데이터의 상태 전이 그래프 구조를 활용하여 모달리티 정렬을 수행하는 구조 유도 교차 모달리티 정렬(SGCMA) 프레임워크를 제안한다. SGCMA는 구조 정렬과 의미 정렬 두 가지 주요 구성 요소로 이루어져 있으며, 숨겨진 마르코프 모델(HMM)과 최대 엔트로피 마르코프 모델(MEMM)을 활용하여 시계열 데이터에 언어와 유사한 순차적 동역학을 부여하고, 교차 어텐션을 통해 시간 패치와 언어 토큰 간의 의미적 정렬을 수행한다. 다양한 벤치마크 실험을 통해 SGCMA가 최첨단 성능을 달성함을 보여준다.
