본 논문은 의료 분야에서의 자연어 처리 과제 해결을 위해 새로운 트랜스포머 아키텍처인 METHOD(Modular Efficient Transformer for Health Outcome Discovery)를 제안합니다. METHOD는 전자 건강 기록(EHR)의 임상 시퀀스 모델링의 어려움, 즉 불규칙적인 샘플링, 가변적인 시간적 의존성, 복잡한 문맥적 관계 등을 해결하기 위해 고안되었습니다. 세 가지 핵심 혁신인 환자 인식 어텐션 메커니즘, 적응적 슬라이딩 윈도우 어텐션 기법, U-Net에서 영감을 받은 동적 스킵 연결 아키텍처를 통합하여 MIMIC-IV 데이터베이스에서 기존 최고 성능 모델인 ETHOS를 능가하는 성능을 보였습니다. 특히, 긴 시퀀스 처리 및 심각한 사례 예측에서 우수한 성능을 보이며, 임상 배포에 중요한 다양한 추론 길이에 대해 안정적인 성능을 유지합니다. 학습된 임베딩 분석을 통해 의료 개념 간의 계층 구조와 관계를 더 잘 보존하는 것을 확인했습니다.
