만성 신장 질환(CKD) 진행 예측을 위한 Transformer 기반 프레임워크인 ProQ-BERT를 제시합니다. 서울대학교병원 OMOP 공통 데이터 모델의 멀티 모달 전자 건강 기록(EHR)을 사용하여, 인구 통계, 임상 및 실험실 데이터를 통합합니다. 연속적인 실험실 값에 대한 양자화 기반 토큰화와 해석 가능성을 위한 어텐션 메커니즘을 사용합니다. ProQ-BERT는 3a 단계에서 5단계로의 진행을 예측하는 이진 분류 작업에 대해 사전 학습 및 미세 조정되었습니다. 91,816명의 환자 코호트에서 평가한 결과, 단기 예측에서 ROC-AUC 최대 0.995, PR-AUC 최대 0.989를 달성하며 CEHR-BERT를 능가했습니다.