본 논문은 다양한 모달리티의 전자 건강 기록(EHR) 데이터(수치 시계열 데이터와 자유 형식의 임상 보고서)를 통합하여 임상 결과를 예측하는 방법을 제시합니다. 기존 연구는 개별 샘플 내의 시간적 상호 작용과 다양한 모달리티 정보의 융합에 초점을 맞추었지만, 환자 간의 중요한 시간적 패턴을 간과했습니다. 본 논문에서는 다양한 모달리티의 EHR 데이터에서 의미 있는 교차 모달리티 시간적 패턴을 효율적으로 추출하도록 설계된 교차 모달리티 시간적 패턴 발견(CTPD) 프레임워크를 제안합니다. 공유 초기 시간적 패턴 표현을 도입하고, 슬롯 어텐션을 사용하여 시간적 의미 임베딩을 생성합니다. 학습된 패턴에서 풍부한 교차 모달리티 시간적 의미를 보장하기 위해, 교차 모달리티 정렬을 위한 대조 기반 TPNCE 손실과 각 모달리티의 핵심 정보를 유지하기 위한 두 가지 재구성 손실을 도입합니다. MIMIC-III 데이터베이스를 사용하여 48시간 입원 사망률 및 24시간 표현형 분류라는 두 가지 임상적으로 중요한 과제에 대한 평가를 통해 기존 방법보다 우수한 성능을 보임을 입증합니다.
