COPE: Chain-Of-Thought Prediction Engine for Open-Source Large Language Model Based Stroke Outcome Prediction from Clinical Notes
Created by
Haebom
Category
Empty
저자
Yongkai Liu, Helena Feng, Bin Jiang, Yixin Wang, Max Wintermark, David S. Liebeskind, Michael Moseley, Maarten Lansberg, Gregory Albers, Jeremy Heit, Greg Zaharchuk
개요
급성 허혈성 뇌졸중(AIS) 환자의 임상 경과 예측은 임상 의사 결정, 환자 상담 및 자원 배분에 중요한 역할을 합니다. 본 연구에서는 비정형 임상 기록으로부터 AIS 후 90일 기능적 예후를 예측하기 위해 추론 능력이 향상된 대규모 언어 모델 프레임워크인 Chain-of-Thought (CoT) Outcome Prediction Engine (COPE)를 개발하고 평가했습니다. COPE는 두 단계의 CoT 프레임워크를 사용하여 464명의 AIS 환자 퇴원 요약 및 90일 mRS 점수를 기반으로 임상적 추론을 생성하고 mRS 예측을 수행합니다. COPE의 성능은 GPT-4.1, ClinicalBERT, 구조화 변수 기반 기계 학습 모델(Clinical ML), CoT 없는 단일 단계 LLM과 비교 평가되었습니다. COPE는 정확하고 실용적인 솔루션을 제공합니다.
시사점, 한계점
•
시사점:
◦
COPE는 비정형 임상 텍스트로부터 정확한 예후 예측을 제공하는 경량, 해석 가능하며 개인 정보 보호를 강화한 오픈 소스 프레임워크입니다.
◦
COPE는 GPT-4.1과 유사한 성능을 보이며, ClinicalBERT, Clinical ML, 단일 단계 LLM보다 우수합니다.
◦
COPE는 성별 및 연령에 걸쳐 일관된 성능을 보입니다.
•
한계점:
◦
고령 환자, 혈전 제거술 시행 환자, 긴 요약 환자군에서 약간 더 높은 오류가 나타났습니다.
◦
연구는 특정 환자 집단 및 데이터셋에 제한될 수 있습니다.
◦
90일 mRS 점수를 예측하는 데 초점을 맞추었으며, 다른 예후 지표에 대한 성능은 추가 연구가 필요합니다.
