본 논문은 금융 등 다양한 분야의 시계열 예측에서 기초 모델(FM)의 취약성을 해결하기 위해, 입력 섭동에 대한 시계열 기초 모델(FMTS)의 강건성을 연구하는 인과적 평가 프레임워크를 제안합니다. 주식 가격 예측 문제에 대한 6가지 최첨단 FMTS(일부는 다중 모달)를 3개 산업의 6개 주요 주식에 적용하여 평가합니다. 제안된 평가 프레임워크는 FMTS의 강건성을 효과적으로 평가하고 모델 선택 및 배포에 대한 실행 가능한 통찰력을 제공합니다. 연구 결과, 다중 모달 FMTS가 단일 모달 버전보다 강건성과 정확도가 더 우수하며, 시계열 예측 작업으로 사전 훈련된 FMTS가 다양한 설정으로 사전 훈련된 범용 FMTS보다 강건성과 예측 정확도가 더 우수함을 발견했습니다. 또한 사용자 연구를 통해 프레임워크의 유용성을 검증했습니다.
시사점, 한계점
•
시사점:
◦
다중 모달 FMTS가 단일 모달 FMTS보다 시계열 예측에서 더 강건하고 정확하다는 것을 보여줌.
◦
시계열 예측 작업에 사전 훈련된 FMTS가 범용 FMTS보다 더 강건하고 정확하다는 것을 보여줌.
◦
제안된 인과적 평가 프레임워크가 FMTS의 강건성을 효과적으로 평가하고 사용자의 모델 비교를 용이하게 함.
•
한계점:
◦
연구는 특정 주식 및 산업에 국한되어 일반화 가능성에 대한 추가 연구가 필요함.
◦
사용자 연구의 규모 및 참여자 구성에 대한 자세한 설명이 부족함.
◦
제안된 프레임워크의 다른 유형의 시계열 데이터 또는 다른 예측 문제에 대한 일반화 가능성에 대한 추가 연구가 필요함.
