Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Systematic Analysis of Large Language Models with RAG-enabled Dynamic Prompting for Medical Error Detection and Correction

Created by
  • Haebom
Category
Empty

저자

Farzad Ahmed, Joniel Augustine Jerome, Meliha Yetisgen, Ozlem Uzuner

개요

임상 기록은 환자 안전을 위협할 수 있는 오류를 포함하고 있습니다. 대규모 언어 모델(LLM)은 이러한 오류를 감지하고 수정하는 데 도움이 될 수 있지만, 다양한 프롬프트 전략 하에서의 동작은 불분명합니다. 본 연구에서는 의료 오류 처리의 세 가지 하위 작업(오류 플래그 감지, 오류 문장 감지, 오류 수정)에 대해 제로샷 프롬프팅, 임의 예시를 사용한 정적 프롬프팅(SPR), 검색 증강 동적 프롬프팅(RDP)을 평가했습니다. 9개의 instruction-tuned LLM(GPT, Claude, Gemini, OpenAI o-series 모델)을 사용하여 MEDEC 데이터 세트를 기반으로 정확도, 재현율, FPR(False Positive Rate), 오류 수정을 위한 ROUGE-1, BLEURT, BERTScore의 집계 점수를 측정했습니다.

시사점, 한계점

RDP가 제로샷 및 SPR 프롬프팅보다 우수한 성능을 보였습니다.
검색된 예시를 사용하면 감지 정확도가 향상되고, 거짓 양성이 감소하며, 의료 오류 수정의 신뢰성이 향상됩니다.
제로샷 프롬프팅은 재현율이 낮았으며, SPR은 재현율을 향상시켰지만 FPR을 증가시켰습니다.
RDP는 FPR을 약 15% 감소시키고, 오류 문장 감지에서 재현율을 5~10% 향상시켰으며, 더 문맥에 맞는 수정 사항을 생성했습니다.
연구는 특정 LLM과 데이터 세트에 국한될 수 있으며, 다른 설정에서의 일반화 가능성을 추가로 연구해야 합니다.
LLM의 실패 모드와 임상의의 추론 방식 간의 차이점을 추가로 분석할 필요가 있습니다.
👍