Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review
Created by
Haebom
저자
Yuchen Fang, Hao Miao, Yuxuan Liang, Liwei Deng, Yue Cui, Ximu Zeng, Yuyang Xia, Yan Zhao, Torben Bach Pedersen, Christian S. Jensen, Xiaofang Zhou, Kai Zheng
개요
본 논문은 시공간 기반 모델(spatio-temporal foundation models)에 대한 최신 연구 동향을 파이프라인 관점에서 종합적으로 검토한 논문입니다. 기존의 시공간 심층 학습 모델들은 특정 작업에 대해 개별적으로 학습해야 하는 한계가 있었지만, 시공간 기반 모델은 다양한 시공간 작업을 해결할 수 있는 통합된 프레임워크를 제공합니다. 본 논문은 시공간 데이터의 종류, 데이터 전처리 및 임베딩 기법, 새로운 데이터 속성 분류 체계(데이터 소스 및 의존성에 따른 분류), 기본 모델의 학습 목표, 전이 모델의 적응 기법 등을 포함한 시공간 기반 모델의 전체 파이프라인을 체계적으로 제시하여 연구자들의 이해와 모델 개발을 돕고 있습니다. 또한, 다목적 학습과 같은 시공간 기반 모델 분야의 새로운 기회도 소개합니다.
시사점, 한계점
•
시사점:
◦
시공간 기반 모델의 전체 파이프라인을 명확하고 구조적으로 제시하여 연구자들의 이해도를 높임.