Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Explainable AI for Mental Health Emergency Returns: Integrating LLMs with Predictive Modeling

Created by
  • Haebom

저자

Abdulaziz Ahmed, Mohammad Saleem, Mohammed Alzeen, Badari Birur, Rachel E Fargason, Bradley G Burk, Ahmed Alhassan, Mohammed Ali Al-Garadi

개요

본 연구는 대규모 언어 모델(LLM)을 기계 학습과 통합하여 응급실(ED) 정신 건강 재방문 위험 예측 모델의 예측 정확도와 임상적 해석 가능성을 향상시키는 것을 목표로 한다. 2018년 1월부터 2022년 12월까지 27,904명의 고유한 정신 건강 환자의 42,464건의 ED 방문 기록을 분석하여 30일 이내 ED 재방문 예측 정확도와 LLM 강화 프레임워크를 사용한 모델 해석 가능성을 평가하였다. LLaMA 3 (8B)를 사용한 결과, 기존 모델보다 높은 정확도(0.882)와 F1 점수(0.86)를 달성하였으며, SDoH 분류에서도 높은 정확도(0.95)와 F1 점수(0.96)를 보였다. 특히, LLM 기반 해석 가능성 프레임워크는 모델 예측을 임상적으로 관련된 설명으로 변환하는 데 99%의 정확도를 달성하였다. LLM 추출 기능은 XGBoost의 AUC를 0.74에서 0.76으로, AUC-PR을 0.58에서 0.61로 개선하였다. 결론적으로, LLM과 기계 학습 모델의 통합은 예측 정확도를 소폭 향상시키는 동시에 자동화된 임상적으로 관련된 설명을 통해 해석 가능성을 크게 향상시켰다.

시사점, 한계점

시사점:
LLM을 통합하여 정신 건강 ED 재방문 위험 예측 모델의 정확도를 향상시킬 수 있음.
LLM 기반 해석 가능성 프레임워크를 통해 모델 예측을 임상적으로 유용한 설명으로 변환 가능함.
예측 분석을 실행 가능한 임상적 통찰력으로 전환하는 프레임워크 제공.
특정 사회결정요인(SDoH) 예측에 있어 LLM의 유용성 확인 (알코올, 담배, 약물 남용).
한계점:
정확도 향상이 크지 않음 (소폭 향상).
연구 대상이 특정 지역(Deep South)의 단일 의료기관의 데이터에 국한됨. 일반화 가능성에 대한 검토 필요.
SDoH 중 일부 요소(운동, 가정 환경)에 대한 예측 성능이 낮음.
LLM의 해석 가능성 향상에 대한 추가 연구 필요.
👍