Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM-Match: An Open-Sourced Patient Matching Model Based on Large Language Models and Retrieval-Augmented Generation

Created by
  • Haebom
Category
Empty

저자

Xiaodi Li, Shaika Chowdhury, Chung Il Wi, Maria Vassilaki, Ken Liu, Terence T Sio, Owen Garrick, Young J Juhn, James R Cerhan, Cui Tao, Nansu Zong

개요

LLM-Match는 미세 조정된 오픈소스 대규모 언어 모델을 활용하여 환자 매칭을 수행하는 새로운 프레임워크입니다. 전자 건강 기록(EHR)에서 관련 환자 정보를 추출하는 검색 증강 생성(RAG) 모듈, 시험 적격 기준, 환자 정보, 시스템 지침을 통합하여 입력 프롬프트를 구성하는 프롬프트 생성 모듈, 구조화된 프롬프트와 정답 레이블을 사용하여 모델 매개변수를 최적화하는 미세 조정 모듈(분류 헤드 포함), 미세 조정된 모델의 성능을 평가하는 평가 모듈의 네 가지 주요 구성 요소로 이루어져 있습니다. n2c2, SIGIR, TREC 2021, TREC 2022 네 개의 공개 데이터셋을 사용하여 TrialGPT, Zero-Shot, GPT-4 기반 폐쇄 모델과 비교 평가한 결과, LLM-Match가 모든 기준 모델보다 우수한 성능을 보였습니다.

시사점, 한계점

시사점:
오픈소스 대규모 언어 모델을 활용하여 환자 매칭의 정확성과 효율성을 향상시킬 수 있음을 보여줌.
LLM-Match 프레임워크는 다양한 공개 데이터셋에서 우수한 성능을 입증하여 실제 임상 환경에서의 활용 가능성을 제시함.
폐쇄형 모델에 비해 비용 효율적인 환자 매칭 시스템 구축 가능성을 제시함.
한계점:
사용된 데이터셋의 특성에 따라 성능이 달라질 수 있음. (일반화 성능에 대한 추가 연구 필요)
실제 임상 환경에서의 적용을 위한 추가적인 검증이 필요함. (데이터의 다양성, 보안, 윤리적 고려 사항 등)
오픈소스 모델의 지속적인 업데이트 및 유지보수에 대한 고려 필요.
👍