This page organizes papers related to artificial intelligence published around the world. This page is summarized using Google Gemini and is operated on a non-profit basis. The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.
TiCT: A Synthetically Pre-Trained Foundation Model for Time Series Classification
Created by
Haebom
Category
Empty
저자
Chin-Chia Michael Yeh, Uday Singh Saini, Junpeng Wang, Xin Dai, Xiran Fan, Jiarui Sun, Yujie Fan, Yan Zheng
개요
TiCT (Time-series in-Context Transformer)는 시간 series 분류를 위한 in-context learning을 수행하는 transformer 기반 모델입니다. TiCT는 대규모의 labeled data 없이 새로운 task에 적응하고 재학습의 필요성을 줄이기 위해 개발되었습니다. 이 모델은 scalable bit-based label encoding과 특수한 output attention mechanism을 갖춘 새로운 아키텍처와, 일반화와 노이즈 불변성을 촉진하기 위한 synthetic data 기반 pre-training framework를 사용합니다. UCR Archive에서의 광범위한 평가 결과, TiCT는 in-context example만 사용하여 최첨단 supervised method와 경쟁력 있는 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
시간 series 분류를 위한 fine-tuning이 필요 없는 in-context learning 모델 개발
◦
synthetic data를 활용한 효율적인 pre-training 방법론 제시
◦
다양한 클래스를 처리할 수 있는 scalable label encoding 및 output attention mechanism 도입
