본 논문은 전자 건강 기록(EHR)을 이용한 임상 예측 작업에서 변압기(Transformer) 아키텍처의 성능을 분석하고, 최근 등장한 Mamba 아키텍처와의 비교를 통해 효율성을 평가합니다. 스웨덴 심부전 환자 코호트(N = 42,820)를 대상으로, 임상 불안정성, 사망률 예측 등 세 가지 1년 예측 작업을 수행합니다. 입력 토큰화, 모델 구성, 시간적 데이터 전처리 기법에 대한 체계적인 분석을 수행하여, Llama 및 Mamba 아키텍처의 우수한 성능과 효율성을 확인했습니다.
