Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series

Created by

Haebom

저자

Guoqi Yu, Juncheng Wang, Chen Yang, Jing Qin, Angelica I. Aviles-Rivero, Shujun Wang

💡 개요

본 논문은 뇌전도(EEG) 및 심전도(ECG)와 같은 의료 시계열 데이터의 핵심 특징인 채널 간 의존성을 효과적으로 모델링하지 못하는 기존 트랜스포머의 한계를 지적합니다. 의료 시계열 데이터의 중앙 집중식 특성과 트랜스포머의 탈중앙화된 어텐션 메커니즘 간의 구조적 불일치를 해결하기 위해, 본 연구에서는 탈중앙화된 어텐션 대신 중앙 집중식 MLP 기반 모듈인 CoTAR(Core Token Aggregation-Redistribution)를 제안합니다. CoTAR은 글로벌 코어 토큰을 도입하여 토큰 간 상호작용을 중개하고, 이를 통해 데이터의 중앙 집중식 집계 및 재분배 전략을 강화하며, 계산 복잡도를 선형으로 줄입니다.

🔑 시사점 및 한계

•

의료 시계열 데이터의 중앙 집중식 특성을 고려한 새로운 모듈(CoTAR) 설계는 채널 간 의존성 모델링 성능을 크게 향상시킵니다.

•

제안된 CoTAR 모듈은 트랜스포머의 계산 효율성을 개선하여 메모리 사용량과 추론 시간을 획기적으로 줄입니다.

•

본 연구는 트랜스포머의 어텐션 메커니즘이 특정 유형의 데이터(본 연구에서는 의료 시계열)에 항상 최적은 아니며, 데이터 특성에 맞는 모듈 설계의 중요성을 강조합니다.

•

CoTAR은 MLP 기반 모듈로서, 트랜스포머의 다른 장점(예: 장거리 의존성 포착 능력)을 유지하면서도 의료 시계열 데이터에 대한 성능을 높이는 데 초점을 맞추고 있습니다.

PDF 보기

Made with Slashpage