만성 신장 질환(CKD) 진행 예측을 위한 변압기 기반 프레임워크인 ProQ-BERT를 제시합니다. 서울대학교병원 OMOP 공통 데이터 모델의 멀티 모달 전자 건강 기록(EHR)을 사용하여 인구 통계학적, 임상적, 실험실 데이터를 통합합니다. 연속적인 실험실 값에 대한 양자화 기반 토큰화와 해석 가능성을 위한 주의 메커니즘을 사용합니다. 마스크 언어 모델링으로 사전 훈련된 ProQ-BERT는 91,816명의 환자 코호트에서 CEHR-BERT보다 우수한 성능을 보이며, 단기 예측에서 ROC-AUC 최대 0.995, PR-AUC 최대 0.989를 달성했습니다.
