FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
Created by
Haebom
저자
Chao Pang, Vincent Jeanselme, Young Sang Choi, Xinzhuo Jiang, Zilin Jing, Aparajita Kashyap, Yuta Kobayashi, Yanwei Li, Florent Pollet, Karthik Natarajan, Shalmali Joshi
개요
본 논문은 의료 분야에서 사용되는 기초 모델의 임상적 유용성에 대한 평가를 개선하기 위해, 임상적으로 의미있는 다양한 과제들을 제시하고, 이를 바탕으로 기존 지도 학습 방식 대비 우수성을 평가하는 연구를 수행했습니다. 뉴욕시 컬럼비아 대학교 어빙 메디컬 센터의 5백만 명 환자 EHR 데이터를 사용하여 14가지 임상 관련 과제에 걸쳐 최첨단 기초 모델들을 평가했습니다. 전반적인 정확도, 보정 및 하위 집단 성능을 측정하여 사전 훈련, 토큰화 및 데이터 표현 전략 선택에 따른 성능 차이를 분석했습니다. 이 연구는 구조화된 EHR 기초 모델의 실증적 평가를 발전시키고 미래 의료 기초 모델 개발을 위한 지침을 제공하는 것을 목표로 합니다.
시사점, 한계점
•
시사점:
◦
임상적으로 의미있는 다양한 과제들을 제시하여 기초 모델의 실질적인 임상적 유용성 평가에 기여.
◦
대규모 EHR 데이터를 활용한 실증적인 평가를 통해 기초 모델의 성능 및 한계를 규명.
◦
사전 훈련, 토큰화, 데이터 표현 전략 선택에 따른 성능 차이를 분석하여 향후 모델 개발 방향 제시.
