Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

This Time is Different: An Observability Perspective on Time Series Foundation Models

Created by
  • Haebom

저자

Ben Cohen, Emaad Khwaja, Youssef Doubli, Salahidine Lemaachi, Chris Lettieri, Charles Masson, Hugo Miccinilli, Elise Rame, Qiqi Ren, Afshin Rostamizadeh, Jean Ogier du Terrail, Anna-Monica Toon, Kan Wang, Stephan Xie, David Asker, Ameet Talwalkar, Othmane Abou-Amal

개요

Toto라는 1억 5천 1백만 개의 파라미터를 가진 새로운 시계열 예측 기반 모델을 소개합니다. Toto는 다변량 관측 가능성 시계열 데이터에서 발견되는 특정 과제를 고려하도록 설계된 아키텍처 혁신과 결합된 최신 디코더 전용 아키텍처를 사용합니다. Toto의 사전 훈련 말뭉치는 관측 가능성 데이터, 공개 데이터 세트 및 합성 데이터의 혼합이며, 최고의 시계열 기반 모델보다 4~10배 더 큽니다. 또한 2,807개의 실제 시계열에 걸쳐 3억 5천만 개의 관측치로 구성된 대규모 벤치마크인 BOOM을 소개합니다. Toto와 BOOM 모두 Datadog의 자체 원격 측정 및 내부 관측 가능성 메트릭에서만 관측 가능성 데이터를 소싱합니다. 광범위한 평가는 Toto가 BOOM과 기존의 범용 시계열 예측 벤치마크 모두에서 최첨단 성능을 달성함을 보여줍니다. Toto의 모델 가중치, 추론 코드 및 평가 스크립트와 BOOM의 데이터 및 평가 코드는 모두 Apache 2.0 라이선스에 따라 오픈 소스로 제공됩니다.

시사점, 한계점

•
시사점:
◦
1억 5천 1백만 개의 파라미터를 가진 대규모 시계열 예측 기반 모델 Toto를 제시하여 기존 모델보다 향상된 성능을 보임.
◦
다변량 관측 가능성 시계열 데이터에 특화된 아키텍처 혁신을 통해 성능 향상.
◦
대규모 벤치마크 BOOM을 통해 모델의 성능을 객관적으로 평가.
◦
모델 가중치, 코드, 데이터 등을 오픈 소스로 공개하여 연구 및 활용에 기여.
•
한계점:
◦
Datadog의 내부 데이터에 의존하여 벤치마크를 구성하였으므로 일반화 가능성에 대한 추가 검증 필요.
◦
모델의 성능이 특정 데이터셋에 편향될 가능성 존재.
◦
아키텍처 혁신에 대한 자세한 설명 부족.
👍
Made with Slashpage