Sign In

Orchestrator Multi-Agent Clinical Decision Support System for Secondary Headache Diagnosis in Primary Care

Created by
  • Haebom
Category
Empty

저자

Xizhi Wu, Nelly Estefanie Garduno-Rapp, Justin F Rousseau, Mounika Thakkallapally, Hang Zhang, Yuelyu Ji, Shyam Visweswaran, Yifan Peng, Yanshan Wang

개요

본 논문은 이차 두통 진단을 위해 설계된 대규모 언어 모델(LLM) 기반의 다중 에이전트 임상 의사 결정 지원 시스템을 제시한다. 이 시스템은 오케스트레이터-전문가 아키텍처를 기반으로 하며, 자유 텍스트 임상 사례로부터 명확하고 해석 가능한 이차 두통 진단을 수행한다. 다중 에이전트 시스템은 7개의 도메인 전문 에이전트로 진단을 분해하고, 각 에이전트는 구조화된 근거 기반의 근거를 생성하며, 중앙 오케스트레이터는 작업 분해 및 에이전트 라우팅을 조정한다. 90개의 전문가 검증된 이차 두통 사례를 사용하여 시스템을 평가하고, 단일 LLM 기반의 기본 모델과 비교했다. 두 가지 프롬프트 전략(질의 기반 프롬프트, 임상 진료 지침 기반 프롬프트)을 사용했으며, 다섯 개의 오픈소스 LLM을 테스트했다. 그 결과, 임상 진료 지침 기반 프롬프트를 사용한 오케스트레이션된 다중 에이전트 시스템이 가장 높은 F1 점수를 달성했으며, 특히 작은 모델에서 더 큰 성능 향상을 보였다.

시사점, 한계점

구조화된 다중 에이전트 추론이 프롬프트 엔지니어링만으로는 얻을 수 없는 정확성을 향상시킴.
이차 두통 진단에 대한 투명하고 임상적으로 정렬된 설명 가능한 의사 결정 지원 접근 방식을 제공.
다양한 오픈소스 LLM의 성능을 비교 분석하여, 모델 크기에 따른 시스템의 유연성을 입증.
연구는 90개의 사례를 기반으로 하며, 더 큰 데이터셋에 대한 검증 필요.
단일 임상 환경에 국한된 평가이므로, 다양한 환경에서의 일반화 가능성을 추가로 연구해야 함.
모델의 실제 임상 적용에 대한 잠재적 한계 및 윤리적 고려 사항이 존재.
👍