Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Promising Capability to Pervasive Bias: Assessing Large Language Models for Emergency Department Triage

Created by
  • Haebom

저자

Joseph Lee, Tianqi Shang, Jae Young Baik, Duy Duong-Tran, Shu Yang, Lingyao Li, Li Shen

개요

본 논문은 응급실 분류(트리아주)에 대한 대규모 언어 모델(LLM)의 적용 가능성을 체계적으로 조사한 연구입니다. LLM의 분포 변화 및 결측 데이터에 대한 강건성, 그리고 성별과 인종 간 교차 분석을 통한 반사실적 편향 분석에 초점을 맞추었습니다. 연속적 사전 훈련부터 문맥 내 학습까지 다양한 LLM 기반 접근 방식과 기계 학습 접근 방식을 평가하여, LLM이 우수한 강건성을 보임을 확인하고 그 원인을 분석하였습니다. 또한, 성별과 인종의 특정 교차점에서 LLM의 선호도 격차를 확인하였으며, LLM이 특정 임상 환경이나 특징 조합에서 나타나는 인구 통계적 선호도를 내포하고 있음을 시사합니다.

시사점, 한계점

시사점:
LLM이 응급실 트리아주에서 우수한 강건성을 보임을 확인.
LLM 기반 접근 방식의 주요 요인을 분석하여 향후 개발 방향 제시.
성별과 인종 간 교차점에서 나타나는 LLM의 편향성을 규명.
특정 임상 환경이나 특징 조합에서 나타나는 인구 통계적 선호도를 파악.
한계점:
본 연구의 결과가 다른 응급실 환경이나 데이터셋에 일반화될 수 있는지에 대한 추가 연구 필요.
LLM의 편향성을 완전히 해결하기 위한 추가적인 방법론 개발 필요.
LLM의 트리아주 성능 향상을 위한 추가적인 연구 필요.
👍