Evaluation of a Foundational Model and Stochastic Models for Forecasting Sporadic or Spiky Production Outages of High-Performance Machine Learning Services
Created by
Haebom
저자
Keun Soo Yim
개요
본 논문은 최신 기반 모델을 활용하여 고성능 머신러닝 서비스의 드물고 급격한 생산 중단(스파이크 이벤트)을 예측하는 방법을 제시합니다. 기존의 확률적 예측 모델(이동 평균, 자기 회귀 등)과 기반 모델의 예측 오차를 비교 분석하여 스파이크 이벤트 예측에 대한 각 모델의 성능을 평가하고, 기반 모델이 특정 패턴을 잘 추적하는지 분석합니다. 실제 데이터를 사용하여 특정 원인에 대한 1년 동안의 중단 통계를 6% 미만의 오차로 추정하는 결과를 보여줍니다. 이는 기존 기반 모델의 장점(긴 시계열, 제로샷 설정)을 극단적인 사건의 특수한 경우인 희귀 스파이크 이벤트 예측에 적용한 연구입니다.
시사점, 한계점
•
시사점:
◦
기반 모델을 활용하여 희귀하고 급격한 이벤트 예측의 새로운 가능성을 제시합니다.
◦
기존 확률적 모델과 기반 모델의 성능 비교를 통해 각 모델의 강점과 약점을 파악할 수 있습니다.
◦
실제 서비스 데이터를 기반으로 한 실험 결과를 통해 모델의 실용성을 검증합니다.
◦
1년 단위의 정확한 중단 통계 예측을 가능하게 함으로써 서비스 안정성 향상에 기여할 수 있습니다.
•
한계점:
◦
특정 머신러닝 서비스의 생산 중단 데이터에 대한 분석이므로 다른 분야나 데이터에 대한 일반화 가능성은 제한적일 수 있습니다.
