STAMP: Spatial-Temporal Adapter with Multi-Head Pooling
Created by
Haebom
Category
Empty
저자
Brad Shook, Abby Turner, Jieshi Chen, Micha{\l} Wilinski, Mononito Goswami, Jonathan Elmer, Artur Dubrawski
개요
다중 도메인 데이터로 사전 훈련된 시계열 기반 모델(TSFM)은 다양한 모델링 작업에서 강력한 성능을 보입니다. 뇌 전기 활동을 시계열로 기록하는 뇌파(EEG) 데이터에 특화된 기반 모델을 개발하려는 다양한 노력이 있었습니다. 그러나 EEG 특화 작업에서 EEG 특화 기반 모델(EEGFM)과 일반 TSFM 간의 비교 분석은 수행되지 않았습니다. 본 논문에서는 일반 TSFM이 생성한 단변량 임베딩을 활용하고, EEG 데이터의 시공간적 특성을 암묵적으로 모델링하며, 최첨단 EEGFM과 유사한 성능을 달성하는 새로운 Spatial-Temporal Adapter with Multi-Head Pooling(STAMP)을 소개합니다. 분류를 위한 EEG를 사용하는 8개의 임상 작업 벤치마크 데이터 세트에 대한 포괄적인 분석과 함께 ablation 연구가 수행되었습니다. 제안된 어댑터는 학습 가능한 매개변수가 가볍고, 수용할 수 있는 입력에 유연하며, TSFM을 사용하여 EEG 데이터를 쉽게 모델링할 수 있습니다.
시사점, 한계점
•
일반 TSFM을 활용하는 경량 어댑터인 STAMP를 제안하여 EEG 데이터에 특화된 모델링을 가능하게 함.
•
STAMP는 기존의 EEGFM과 유사한 성능을 보이며, 다양한 EEG 벤치마크 데이터셋에서 검증됨.
•
STAMP는 적은 수의 학습 가능한 매개변수를 가지며, 입력 데이터에 유연하게 적용 가능함.
