본 논문은 에너지 시장, 기후 분석, 교통 관리 등 다양한 분야에 중요한 시계열 예측에서 기존 방법들이 외생적 텍스트를 효과적으로 통합하고 대규모 언어 모델(LLM)의 확률적 특성과 정렬하는 데 어려움을 겪는다는 문제점을 제기합니다. 기존 접근 방식은 단순한 프롬프트를 통한 얕은 텍스트-시계열 융합 또는 LLM의 토큰 생성 패러다임과 상충되는 결정적 수치적 디코딩에 의존하여 문맥 인식과 분포 모델링을 제한합니다. 이러한 한계를 해결하기 위해, 본 논문은 텍스트 기반 추상화와 자기 회귀 LLM 디코딩을 활용하는 문맥 인식 확률적 다중 모드 시계열 예측 방법인 CAPTime을 제안합니다. CAPTime은 사전 훈련된 시계열 인코더를 사용하여 시간적 패턴을 인코딩한 후, 학습 가능한 상호 작용을 통해 텍스트 문맥과 정렬하여 결합된 다중 모드 표현을 생성합니다. 고정된 LLM과 분포 전문가 혼합을 결합하여 LLM의 고유한 분포 모델링 기능을 유지하면서 문맥 인식 확률적 예측을 가능하게 합니다. 다양한 시계열 예측 작업에 대한 실험은 특히 다중 모드 시나리오에서 CAPTime의 우수한 정확성과 일반화 성능을 보여줍니다. 추가 분석은 하이브리드 확률적 디코딩을 통해 데이터 부족 시나리오에서의 강건성을 강조합니다.
