TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
Created by
- Haebom
Category
Empty
저자
Kanghui Ning, Zijie Pan, Yu Liu, Yushan Jiang, James Y. Zhang, Kashif Rasul, Anderson Schneider, Lintao Ma, Yuriy Nevmyvaka, Dongjin Song
개요
본 논문은 시계열 예측 과제에 대한 대규모 언어 모델(LLM)과 기초 모델(FM)의 활용이 증가함에 따라, 특정 도메인에 적응은 가능하지만 다양한 미지의 데이터셋에서는 일반화가 잘 되지 않는 LLM의 미세 조정과 도메인 적응 메커니즘 부족 및 해석력이 제한적인 기존 시계열 기초 모델(TSFM)의 한계점을 지적합니다. 이를 해결하기 위해, 본 논문에서는 검색 증강 생성 기반 시계열 예측 프레임워크인 TS-RAG를 제시합니다. TS-RAG는 사전 훈련된 시계열 인코더를 활용하여 전용 지식 데이터베이스에서 의미적으로 관련된 시계열 세그먼트를 검색하고, 주어진 시계열 쿼리에 대한 문맥 패턴을 통합합니다. 또한, 학습 가능한 전문가 혼합(MoE) 기반 증강 모듈을 개발하여 검색된 시계열 패턴과 TSFM의 입력 쿼리 표현을 동적으로 융합함으로써, 과제별 미세 조정 없이 예측 정확도를 향상시킵니다. 7개의 공개 벤치마크 데이터셋에 대한 실험 결과, TS-RAG는 최첨단 제로샷 예측 성능을 달성하여 다양한 도메인에서 TSFM보다 최대 6.51% 향상된 성능과 해석력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
제로샷 시계열 예측에서 기존 TSFM을 능가하는 최첨단 성능 달성 (최대 6.51% 향상).
◦
다양한 도메인에서 우수한 일반화 성능을 보임.
◦
검색 증강 생성과 MoE 기반 증강 모듈을 통해 해석력 향상.
◦
과제별 미세 조정 없이 성능 향상 가능.
•
한계점:
◦
제시된 지식 데이터베이스의 질과 크기가 성능에 영향을 미칠 수 있음. 데이터베이스 구축에 대한 논의가 부족함.
◦
MoE 모듈의 복잡성으로 인한 계산 비용 증가 가능성.
◦
사용된 벤치마크 데이터셋의 다양성이 제한적일 수 있음. 다른 유형의 데이터셋에 대한 추가적인 실험이 필요함.
◦
특정 도메인에 대한 전이 학습 성능에 대한 분석이 부족함.
