CauKer: classification time series foundation models can be pretrained on synthetic data only
Created by
Haebom
저자
Shifeng Xie, Vasilii Feofanov, Marius Alonso, Ambroise Odonnat, Jianfeng Zhang, Themis Palpanas, Ievgen Redko
개요
시간 순서 기반 기초 모델(TSFM)은 강력한 제로샷 기능과 광범위한 실제 응용 프로그램으로 인해 최근 주목을 받고 있습니다. 이러한 모델은 일반적으로 대규모의 신중하게 큐레이션된 실제 시퀀스 모음에 대해 계산 비용이 많이 드는 사전 훈련이 필요합니다. TSFM의 샘플 효율적인 사전 훈련을 허용하기 위해, 현실적인 추세, 계절성 및 비선형 상호 작용을 가진 다양하고 인과적으로 일관된 합성 시계열을 생성하도록 설계된 새로운 알고리즘인 CauKer를 제안합니다. CauKer는 가우시안 프로세스(GP) 커널 구성과 구조적 인과 모델(SCM)을 결합하여 서로 다른 아키텍처를 가지고 서로 다른 사전 훈련 접근 방식을 따르는 최첨단 분류 TSFM의 샘플 효율적인 사전 훈련을 위한 데이터를 생성합니다. 또한, 실험 결과 CauKer가 생성한 데이터 세트는 실제 데이터 세트와 달리 불규칙적인 스케일링 동작을 보이는 것이 아니라 데이터 세트 크기(10K10M 샘플)와 모델 용량(1M783M 매개변수) 모두에 대해 명확한 스케일링 법칙을 나타낸다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
CauKer 알고리즘을 통해 다양하고 인과적으로 일관된 합성 시계열 데이터 생성 가능
◦
TSFM의 샘플 효율적인 사전 훈련 가능
◦
CauKer 생성 데이터셋은 데이터셋 크기와 모델 용량에 대해 명확한 스케일링 법칙을 보임
◦
다양한 아키텍처와 사전 훈련 방식을 가진 TSFM에 적용 가능
•
한계점:
◦
CauKer 알고리즘의 성능은 생성된 합성 데이터의 품질에 의존적일 수 있음
◦
실제 시계열 데이터와의 차이로 인한 일반화 성능 저하 가능성 존재
◦
현재는 분류 TSFM에 대한 사전 훈련에 집중, 다른 유형의 TSFM에 대한 적용성 연구 필요
