FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
Created by
Haebom
저자
Chao Pang, Vincent Jeanselme, Young Sang Choi, Xinzhuo Jiang, Zilin Jing, Aparajita Kashyap, Yuta Kobayashi, Yanwei Li, Florent Pollet, Karthik Natarajan, Shalmali Joshi
개요
본 논문은 의료 분야에서 기초 모델의 잠재력을 평가하기 위해, 콜럼비아대학교 어빙 메디컬 센터의 5백만 명 환자 EHR 데이터를 사용하여 14가지 임상적으로 중요한 과제에 걸쳐 최첨단 기초 모델을 평가한 연구입니다. 기존의 지도 학습 대비 기초 모델의 장점을 특징짓기 위한 포괄적이고 의미있는 과제와 다양한 평가 기준의 부재로 인해 임상적 유용성에 대한 합의가 부족한 현실을 해결하고자, 환자 결과, 급성 및 만성 질환의 조기 예측을 포함하는 임상적으로 의미있는 과제들을 제시하고, 사전 훈련, 토큰화, 데이터 표현 전략 선택에 따른 성능 차이를 분석하기 위해 정확도, 보정, 하위 집단 성능을 측정했습니다. 이 연구는 구조화된 EHR 기초 모델의 경험적 평가를 발전시키고 미래 의료 기초 모델 개발을 위한 지침을 제공하고자 합니다.
시사점, 한계점
•
시사점:
◦
의료 분야에서 기초 모델의 임상적 유용성 평가를 위한 포괄적이고 의미있는 과제 및 평가 기준 제시.
◦
대규모 EHR 데이터를 이용한 최첨단 기초 모델의 실증적 성능 평가 및 분석.
◦
사전 훈련, 토큰화, 데이터 표현 전략 선택에 따른 성능 차이 분석을 통해 최적 전략 도출 가능성 제시.
