Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Generalist Foundation Models Are Not Clinical Enough for Hospital Operations

Created by
  • Haebom
Category
Empty

저자

Lavender Y. Jiang, Angelica Chen, Xu Han, Xujin Chris Liu, Radhika Dua, Kevin Eaton, Frederick Wolff, Robert Steele, Jeff Zhang, Anton Alyakin, Qingkai Pan, Yanbing Chen, Karl L. Sangwon, Daniel A. Alber, Jaden Stryker, Jin Vivian Lee, Yindalon Aphinyanaphongs, Kyunghyun Cho, Eric Karl Oermann

개요

Lang1은 병원 운영 의사 결정을 위한 전문 지식을 갖춘 모델을 목표로 하며, NYU Langone Health의 EHR(800억 토큰)과 인터넷 데이터(6,270억 토큰)를 결합한 전문 코퍼스를 기반으로 사전 훈련된 모델 제품군(1억-70억 매개변수)입니다. 이 모델은 30일 재입원 예측, 30일 사망률 예측, 재원 기간, 동반 질환 코딩, 보험금 청구 거절 예측 등 5가지 핵심 작업을 평가하는 ReMedE 벤치마크를 사용하여 평가되었습니다. 제로샷 설정에서 범용 모델과 전문 모델 모두 5가지 작업 중 4가지에서 낮은 성능을 보였지만, Lang1-1B는 파인튜닝 후 최대 70배 더 큰 범용 모델과 최대 671배 더 큰 제로샷 모델보다 우수한 성능을 보였습니다. 또한, 다중 작업에 대한 공동 파인튜닝을 통해 상호 작업 확장을 관찰했습니다. Lang1-1B는 다른 임상 작업 및 외부 의료 시스템을 포함한 외부 배포 설정으로 효과적으로 이전되었습니다.

시사점, 한계점

병원 운영 예측을 위해서는 명시적인 지도 학습 파인튜닝이 필요합니다.
EHR 기반의 도메인 사전 훈련은 파인튜닝 프로세스를 더욱 효율적으로 만듭니다.
전문 LLM이 전문 작업에서 범용 모델과 경쟁할 수 있음을 보여줍니다.
효과적인 의료 시스템 AI는 도메인 내 사전 훈련, 지도 학습 파인튜닝, 실제 평가의 조합이 필요합니다.
논문의 한계점은 명시적으로 언급되지 않았습니다.
👍