본 논문은 에너지 시장, 기후 분석, 교통 관리 등 다양한 분야에서 중요한 시계열 예측에서 기존 방법들이 외생적 텍스트를 효과적으로 통합하고 대규모 언어 모델(LLM)의 확률적 특성과 조화시키는 데 어려움을 겪고 있음을 지적합니다. 기존 접근 방식은 단순 프롬프트를 통한 얕은 텍스트-시계열 융합 또는 LLM의 토큰 생성 패러다임과 상충되는 결정론적 수치적 디코딩에 의존하여 문맥 인식 및 분포 모델링을 제한합니다. 이러한 한계를 해결하기 위해, 본 논문은 텍스트 기반 추상화와 자기회귀 LLM 디코딩을 활용하는 문맥 인식 확률적 다중 모드 시계열 예측 방법인 CAPTime을 제안합니다. CAPTime은 먼저 사전 훈련된 시계열 인코더를 사용하여 시간적 패턴을 인코딩한 후, 학습 가능한 상호 작용을 통해 텍스트 문맥과 정렬하여 공동 다중 모드 표현을 생성합니다. 동시에, 분포 전문가의 혼합과 고정된 LLM을 결합하여 LLM의 고유한 분포 모델링 기능을 유지하면서 문맥 인식 확률적 예측을 가능하게 합니다. 다양한 시계열 예측 작업에 대한 실험을 통해, 특히 다중 모드 시나리오에서 CAPTime의 우수한 정확도와 일반화 성능을 보여주며, 하이브리드 확률적 디코딩을 통한 데이터 부족 시나리오에서의 강건성을 강조합니다.
