Sensing Cardiac Health Across Scenarios and Devices: A Multi-Modal Foundation Model Pretrained on Heterogeneous Data from 1.7 Million Individuals
Created by
Haebom
저자
Xiao Gu, Wei Tang, Jinpei Han, Veer Sangha, Fenglin Liu, Shreyank N Gowda, Antonio H. Ribeiro, Patrick Schwab, Kim Branson, Lei Clifton, Antonio Luiz P. Ribeiro, Zhangdaihong Liu, David A. Clifton
개요
본 논문은 심장 생체 신호(ECG, PPG) 분석을 위한 심장 감지 기반 모델(CSFM)을 제시합니다. CSFM은 다양한 대규모 데이터셋(MIMIC-III-WDB, MIMIC-IV-ECG, CODE 등)의 심장 신호와 임상 기록 텍스트를 통합하여 트랜스포머 아키텍처와 생성적 마스크 사전 학습 전략을 사용하여 학습됩니다. 약 170만 명의 데이터를 기반으로 사전 학습된 CSFM은 다양한 심장 감지 시나리오에서 효과적인 특징 추출 및 다양한 입력 구성과 센서 모드 간의 원활한 전이 학습을 가능하게 합니다. 진단 작업, 인구 통계 정보 인식, 생체 신호 측정, 임상 결과 예측, ECG 질문 응답 등 광범위한 평가에서 기존의 단일 모달 단일 작업 방식을 능가하는 성능을 보였습니다. 특히, 표준 12-리드 시스템부터 단일 리드 설정까지 다양한 ECG 리드 구성과 ECG, PPG 단독 또는 조합 사용 시에도 견고한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
다양한 심장 생체 신호 데이터와 임상 정보를 통합하여 학습된 다목적 심장 감지 기반 모델(CSFM)을 제시.
◦
기존의 단일 모달 단일 작업 방식보다 우수한 성능을 다양한 작업(진단, 인구 통계 정보 인식, 생체 신호 측정, 임상 결과 예측, ECG 질문 응답 등)에서 보임.
◦
다양한 ECG 리드 구성과 센서 모드(ECG, PPG 단독 또는 조합)에 대한 견고한 성능을 보임.
