FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
Created by
Haebom
저자
Chao Pang, Vincent Jeanselme, Young Sang Choi, Xinzhuo Jiang, Zilin Jing, Aparajita Kashyap, Yuta Kobayashi, Yanwei Li, Florent Pollet, Karthik Natarajan, Shalmali Joshi
개요
본 논문은 의료 분야에서 사용되는 기초 모델(foundation model)의 임상적 유용성을 평가하기 위한 연구이다. 기존 연구에서 기초 모델이 구조화된 전자 건강 기록(EHR) 데이터를 이용하여 여러 임상 응용 분야에서 우수한 성능을 보였지만, 포괄적이고 의미 있는 과제와 다양한 평가가 부족하여 임상적 유용성에 대한 합의가 이루어지지 않았다는 점을 지적한다. 이에 본 연구는 환자 예후, 급성 및 만성 질환의 조기 예측 등 임상적으로 의미 있는 14가지 과제를 제시하고, 5백만 명의 환자 EHR 데이터(컬럼비아대학 의료센터)를 사용하여 최첨단 기초 모델을 평가한다. 정확도, 보정, 하위 집단 성능 등을 측정하여 사전 훈련, 토큰화, 데이터 표현 전략의 선택에 따른 성능 차이를 분석하고, 구조화된 EHR 기초 모델의 경험적 평가를 발전시키고 미래 의료 기초 모델 개발을 위한 지침을 제시하고자 한다.
시사점, 한계점
•
시사점:
◦
의료 분야에서 기초 모델의 임상적 유용성을 평가하기 위한 포괄적인 프레임워크 제시
◦
다양한 임상 과제에 대한 최첨단 기초 모델의 성능 비교 및 분석
◦
사전 훈련, 토큰화, 데이터 표현 전략의 선택이 모델 성능에 미치는 영향에 대한 통찰 제공
