Sign In

Evaluating System 1 vs. 2 Reasoning Approaches for Zero-Shot Time-Series Forecasting: A Benchmark and Insights

Created by
  • Haebom
Category
Empty

저자

Haoxin Liu, Zhiyuan Zhao, Shiduo Li, B. Aditya Prakash

개요

본 논문은 제로샷 시계열 예측(TSF)에서 다양한 추론 전략의 효과를 체계적으로 평가하기 위한 첫 번째 벤치마크인 ReC4TS를 제안합니다. ReC4TS는 8개 도메인에 걸친 다양한 데이터셋(단일 모드 및 다중 모드, 단기 및 장기 예측 포함)을 사용하여 포괄적인 평가를 수행합니다. 특히, 제로샷 TSF에서 어떤 유형의 추론 전략이 가장 효과적인지, 그리고 추론이 제로샷 TSF에 도움이 되는지 여부를 조사합니다. ReC4TS는 자기 일관성이 가장 효과적인 테스트 시간 추론 전략임을, 그룹 상대 정책 최적화가 사후 훈련 중 추론 능력을 유도하는 데 더 적합한 접근 방식임을, 그리고 다중 모드 TSF가 단일 모드 TSF보다 추론 전략으로부터 더 많은 이점을 얻음을 보여줍니다. 또한, 다양한 고급 LLMs로부터 추론 경로를 주석으로 달아 예측 샘플을 포함하는 새로운 데이터셋 TimeThinking과 자기 일관성 추론 전략에 의해 가능해진 기본적인 TSF 모델에서 검증된 새로운 간단한 테스트 시간 스케일링 법칙을 제시합니다.

시사점, 한계점

시사점:
자기 일관성이 제로샷 TSF에서 가장 효과적인 테스트 시간 추론 전략임을 밝힘.
그룹 상대 정책 최적화가 사후 훈련 중 추론 능력 향상에 더 적합함을 보임.
다중 모드 TSF가 단일 모드 TSF보다 추론 전략으로부터 더 큰 이점을 얻음을 확인.
TimeThinking이라는 새로운 데이터셋과 테스트 시간 스케일링 법칙을 제시하여 향후 연구 지원.
한계점:
ReC4TS가 제로샷 TSF에 국한되어 다른 유형의 시계열 예측 문제에는 적용할 수 없을 수 있음.
평가에 사용된 데이터셋과 추론 전략의 종류가 제한적일 수 있음. 추가적인 데이터셋과 전략을 포함하여 더욱 포괄적인 연구가 필요할 수 있음.
제시된 테스트 시간 스케일링 법칙의 일반화 가능성에 대한 추가적인 검증이 필요할 수 있음.
👍