Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating Open-Weight Large Language Models for Structured Data Extraction from Narrative Medical Reports Across Multiple Use Cases and Languages

Created by
  • Haebom
Category
Empty

저자

Douwe J. Spaanderman, Karthik Prathaban, Petr Zelina, Kaouther Mouheb, Luka\v{s} Hejtmanek, Matthew Marzetti, Antonius W. Schurink, Damian Chan, Ruben Niemantsverdriet, Frederik Hartmann, Zhen Qian, Maarten G. J. Thomeer, Petr Holub, Farhan Akram, Frank J. Wolters, Meike W. Vernooij, Cornelis Verhoef, Esther E. Bron, Vit Nova\v{c}ek, Dirk J. Grunhagen, Wiro J. Niessen, Martijn P. A. Starmans, Stefan Klein

개요

다중 질병, 언어, 기관에 걸쳐 임상 보고서에서 구조화된 정보를 추출하기 위해 15개의 오픈 가중치 LLM을 평가했습니다. 6가지 사용 사례, 다양한 크기의 일반 목적 및 의료 전문 LLM, 6가지 프롬프트 전략을 사용하여 네덜란드, 영국, 체코의 3개 기관에서 병리학 및 방사선 보고서를 분석했습니다. 최고의 모델은 작업 전반에 걸쳐 평가자 간 일치에 가까운 매크로 평균 점수를 달성했습니다. 소형-중형 범용 모델은 대형 모델과 유사한 성능을 보였고, 프롬프트 그래프 및 소수 샷 프롬프팅은 성능을 향상시켰습니다. 모델 크기나 프롬프트 전략보다 작업별 요인이 결과에 더 큰 영향을 미쳤습니다. 이 연구는 오픈 가중치 LLM이 임상 데이터 큐레이션을 위한 확장 가능한 접근 방식을 제공한다는 것을 보여줍니다.

시사점, 한계점

오픈 가중치 LLM은 다양한 질병, 언어, 기관에서 임상 보고서의 구조화된 데이터 추출에 효과적입니다.
소형-중형 범용 모델은 대형 모델과 유사한 성능을 보입니다.
프롬프트 그래프 및 소수 샷 프롬프팅은 성능을 향상시킵니다.
작업의 복잡성과 주석의 가변성과 같은 작업별 요인이 모델 크기나 프롬프트 전략보다 결과에 더 큰 영향을 미칩니다.
연구는 특정 질병과 보고서 유형에 국한될 수 있으며, 다른 데이터 세트에서 일반화 가능성을 추가로 평가해야 합니다.
다양한 모델과 프롬프트 전략을 사용했음에도 불구하고, 여전히 최적의 모델 선택 및 프롬프팅 기술을 파악하기 위한 추가 연구가 필요합니다.
👍