Real-world validation of a multimodal LLM-powered pipeline for High-Accuracy Clinical Trial Patient Matching leveraging EHR data
Created by
Haebom
Category
Empty
저자
Anatole Callies (Inato), Quentin Bodinier (Inato), Philippe Ravaud (Inato, Universite Paris Cite,Universite Sorbonne Paris Nord, INSERM, INRAE, Paris, France, Centre d'epidemiologie clinique, AP-HP, Hopital Hotel Dieu, Paris, France), Kourosh Davarpanah (Inato)
개요
본 논문은 임상 시험 환자 모집 과정에서 복잡한 자격 기준과 많은 노력을 필요로 하는 차트 검토로 인한 어려움을 해결하기 위해, LLM(대규모 언어 모델) 기반의 새로운 파이프라인을 제시한다. 이 파이프라인은 EHR(전자 건강 기록)에서 추출된 미처리 문서를 사용하여 환자와 임상 시험의 자동 매칭을 수행한다. 기존의 텍스트 전용 모델의 한계(제한된 추론 능력, 시각 정보 손실, 일반적인 EHR 통합 부재)를 극복하기 위해, 추론 능력을 갖춘 LLM, 시각 정보 해석 능력, 다중 모드 임베딩을 활용하여 복잡한 기준 평가, 이미지-텍스트 변환 없이 의료 기록 해석, 효율적인 의료 기록 검색을 가능하게 한다. n2c2 2018 코호트 선택 데이터셋(288명의 당뇨병 환자)과 실제 30개 사이트의 485명 환자를 대상으로 36개의 다양한 임상 시험과 매칭한 실제 데이터셋에서 검증되었으며, 높은 정확도와 효율성을 보였다.
시사점, 한계점
•
시사점:
◦
복잡한 기준을 가진 임상 시험에서도 높은 정확도(n2c2 데이터셋 93%, 실제 데이터셋 87%)로 환자 매칭 자동화 가능
◦
사이트 시스템과의 맞춤형 통합이나 임상 시험 특정 조정 없이 확장 가능한 배포 가능
◦
기존 수동 차트 검토 대비 평균 80%의 시간 단축 (9분 이내 검토)
◦
LLM의 추론 및 시각적 해석 능력을 활용하여 의료 기록 처리의 효율성과 정확성 증대
•
한계점:
◦
실제 데이터셋에서의 정확도 저하는 의료 기록 정보 부족으로 인한 인간 의사결정 모방의 어려움으로 설명됨
