본 논문은 심혈관 질환 진단 및 모니터링에 필수적인 심전도(ECG) 데이터의 대규모 주석 작업의 어려움을 해결하기 위해, 지도 학습 기반의 다중 모달 ECG 표현 학습 프레임워크인 SuPreME를 제안한다. SuPreME는 대규모 언어 모델(LLM)을 이용하여 ECG 보고서에서 구조화된 진단 라벨을 추출하고, 이를 활용하여 ECG 신호와 텍스트 기반 심장 질환 질의를 융합하여 사전 학습을 진행한다. 이를 통해 추가적인 미세 조정 없이 보지 못한 질환에 대한 제로샷 분류가 가능하며, 106가지 심장 질환을 포함하는 6개의 하위 데이터셋에서 평가 결과 기존 최첨단 eSSL 방법보다 4.98% 향상된 77.20%의 제로샷 AUC 성능을 달성하였다.