Smarter Together: Combining Large Language Models and Small Models for Physiological Signals Visual Inspection
Created by
Haebom
저자
Huayu Li, Zhengxiao He, Xiwen Chen, Ci Zhang, Stuart F. Quan, William D. S. Killgore, Shu-Fen Wung, Chen X. Chen, Geng Yuan, Jin Lu, Ao Li
개요
본 논문은 의료 시계열 데이터 해석에 강점을 보이는 대규모 언어 모델(LLM)과 특정 과업에 특화된 성능을 보이는 소규모 특화 모델(SSM)의 장단점을 보완하는 새로운 의사결정 지원 프레임워크인 ConMIL (Conformalized Multiple Instance Learning)을 제시합니다. ConMIL은 세 가지 핵심 요소, 즉 (1) 임상적으로 관련된 생리 신호 구간을 식별하기 위한 새로운 다중 인스턴스 학습(MIL) 메커니즘인 QTrans-Pooling, (2) 통계적 신뢰성 보장을 위한 보정된 집합 값 출력을 생성하기 위해 MIL과 통합된 준거 예측, (3) 해석 가능하고 불확실성이 정량화된 SSM 출력을 사용하여 LLM의 시각적 검사 기능을 향상시키는 구조화된 접근 방식으로 구성됩니다. 부정맥 감지 및 수면 단계 분류 실험을 통해 ConMIL이 ChatGPT4.0, Qwen2-VL-7B, MiMo-VL-7B-RL과 같은 LLM의 정확도를 향상시킬 수 있음을 보여줍니다. 예를 들어, ConMIL을 지원받은 Qwen2-VL-7B와 MiMo-VL-7B-RL은 두 가지 과업 모두에서 확신할 수 있는 샘플에 대해 94.92%와 96.82%의 정밀도를 달성하였고, 불확실한 샘플에 대해서는 (70.61%와 78.02%)/(78.10%와 71.98%)의 정밀도를 달성하였습니다. 이는 LLM만 사용했을 때의 46.13%와 13.16%에 비해 상당한 향상입니다. 이러한 결과는 과업 특정 모델과 LLM을 통합하는 것이 더 해석 가능하고 신뢰할 수 있는 AI 기반 임상 의사 결정 지원을 위한 유망한 경로를 제공할 수 있음을 시사합니다.
시사점, 한계점
•
시사점:
◦
LLM과 SSM의 장점을 결합하여 의료 시계열 데이터 분석의 정확도와 해석성을 향상시킬 수 있는 새로운 프레임워크 제시.
◦
ConMIL을 통해 LLM의 성능을 향상시키고, 불확실성을 정량화하여 신뢰도를 높일 수 있음을 실험적으로 증명.
◦
의료 AI 분야에서 해석 가능하고 신뢰할 수 있는 AI 기반 의사결정 지원 시스템 개발에 기여.
•
한계점:
◦
제시된 실험은 특정 의료 데이터셋(부정맥 감지 및 수면 단계 분류)에 국한되어 일반화 가능성에 대한 추가 연구 필요.
◦
ConMIL의 성능 향상이 특정 LLM과 SSM 조합에 의존할 가능성 존재. 다양한 모델 조합에 대한 추가 실험 필요.
