Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Comparative Study on How Data Normalization Affects Zero-Shot Generalization in Time Series Foundation Models

Created by
  • Haebom
Category
Empty

저자

Ihab Ahmed, Denis Krompa{\ss}, Cheng Feng, Volker Tresp

개요

본 논문은 시계열 기반 모델(TSFM)의 입력 정규화 방법을 연구합니다. TSFM은 일반화가 중요하지만, 데이터셋별 시계열 모델에서 널리 연구된 정규화가 아직 중요하게 다루어지지 않고 있습니다. 시계열 데이터는 텍스트나 이미지와 달리, 도메인과 채널 간의 큰 규모 변동과 비정상성을 보이며, 이는 TSFM의 성능을 저하시킬 수 있습니다. 4가지 다양한 TSFM 아키텍처를 통해 REVIN이 가장 효율적인 방법임을 실증적으로 확인했습니다. REVIN은 정규화되지 않은 기본 모델 대비 제로샷 MASE를 89% 감소시키고, 다른 정규화 방법 대비 44% 감소시키면서, 데이터셋 수준의 전처리 없이 최상의 in-domain 정확도(0.84 MASE)에 도달하여 최고의 정확도-효율성 트레이드 오프를 제공했습니다. REVIN의 효과는 아키텍처 설계 선택과 최적화 목표, 특히 학습 손실 규모 민감도와 모델 유형(확률적, 점 예측, 또는 LLM 기반 모델)에 따라 달라집니다.

시사점, 한계점

시사점:
REVIN은 TSFM에서 효율적인 입력 정규화 방법으로, 제로샷 성능을 크게 향상시킬 수 있습니다.
REVIN은 데이터셋 수준의 전처리 없이 in-domain 정확도에서도 우수한 성능을 보입니다.
REVIN은 다른 정규화 방법들에 비해 높은 정확도-효율성 트레이드 오프를 제공합니다.
한계점:
REVIN의 효과는 아키텍처 설계 선택과 학습 손실 규모 민감도에 따라 달라집니다.
REVIN은 모델 유형(확률적, 점 예측, 또는 LLM 기반 모델)에 따라 효과가 다를 수 있습니다.
👍