TSPulse는 단 1M 매개변수만을 사용하는 초소형 시계열 사전 훈련 모델로, 분류, 이상 탐지, 결측치 채우기 및 검색 작업에서 강력한 성능을 발휘하도록 특화되어 있습니다. 아키텍처 수준에서는 시간 및 주파수 도메인 모두에서 학습하는 이중 공간 마스크 재구성을 사용하여 상호 보완적인 신호를 포착하고, 세분화된 분석을 위한 상세 임베딩과 광범위한 작업 이해를 위한 고급 의미 임베딩을 생성하는 이중 임베딩 분리 기술을 활용합니다. 특히, 의미 임베딩은 시간, 크기 및 노이즈의 변화에 강합니다. 작업 수준에서는 작업별 특징 어텐션을 가능하게 하는 미세 조정 구성 요소인 TSLens와 여러 예측 헤드의 편차를 상관시켜 상호 보완적인 모델 출력을 융합함으로써 이상 탐지를 향상시키는 다중 헤드 삼각 측량 기법을 통합합니다. 또한, 사전 훈련 편향을 줄여 제로샷 결측치 채우기를 개선하는 하이브리드 마스크 사전 훈련을 제안합니다. 이러한 아키텍처 및 작업 혁신은 UEA 분류 벤치마크에서 5-16%, TSB-AD 이상 탐지 리더보드에서 +20%, 제로샷 결측치 채우기에서 +50%, 시계열 검색에서 +25%의 성능 향상에 기여합니다. 기존 사전 훈련 모델보다 10~100배 작은 크기로 이러한 결과를 달성하여 GPU 없이 추론이 가능하고 빠른 사전 훈련을 가능하게 합니다.
