Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

BRIDGE: Benchmarking Large Language Models for Understanding Real-world Clinical Practice Text

Created by
  • Haebom

저자

Jiageng Wu, Bowen Gu, Ren Zhou, Kevin Xie, Doug Snyder, Yixing Jiang, Valentina Carducci, Richard Wyss, Rishi J Desai, Emily Alsentzer, Leo Anthony Celi, Adam Rodman, Sebastian Schneeweiss, Jonathan H. Chen, Santiago Romero-Brufau, Kueiyu Joshua Lin, Jie Yang

개요

본 논문은 의료 분야에서 대규모 언어 모델(LLMs)의 활용 가능성을 탐구하며, 실제 임상 데이터를 기반으로 하는 BRIDGE라는 종합적인 다국어 벤치마크를 제시합니다. 87개의 과제로 구성된 이 벤치마크는 9개 언어, 6개 임상 단계, 20개 응용 분야, 14개 임상 전문 분야를 아우르며, 다양한 LLM의 성능을 평가합니다. 95개의 LLM (DeepSeek-R1, GPT-4o, Gemini, Qwen3 등)을 평가한 결과, 모델 크기, 언어, 자연어 처리 작업, 임상 전문 분야에 따라 성능 차이가 나타났으며, 오픈 소스 LLM이 상용 모델과 비슷한 성능을 보일 수 있음을 확인했습니다. BRIDGE 벤치마크와 리더보드는 실제 임상 텍스트 이해를 위한 LLM 개발 및 평가의 기반 자료로 활용될 것입니다.

시사점, 한계점

•
시사점:
◦
실제 임상 데이터 기반의 포괄적인 다국어 벤치마크 BRIDGE 제시: 다양한 임상 단계와 응용 분야를 포함하여 LLM의 광범위한 평가를 가능하게 함.
◦
오픈 소스 LLM의 경쟁력 입증: 오픈 소스 LLM이 상용 모델과 유사한 성능을 보이며, 의료 분야에서 잠재력을 보여줌.
◦
의료 특화 미세 조정 모델의 성능 한계: 오래된 아키텍처 기반의 의료 특화 모델이 최신 범용 모델에 비해 성능이 낮을 수 있음을 시사.
◦
다양한 모델, 언어, 작업 및 임상 전문 분야에 따른 성능 차이 분석: LLM 성능의 다변성을 보여주며, 향후 연구 방향 제시.
•
한계점:
◦
논문 자체에서 명시된 한계점은 없음. (논문 내용을 기반으로 유추)
◦
벤치마크의 실제 임상 환경 반영의 한계: 벤치마크가 실제 임상 환경의 모든 복잡성을 완벽하게 반영하지 못할 수 있음.
◦
모델의 일반화 능력 평가의 한계: 벤치마크가 특정 데이터에 편향되어 있거나, 다른 데이터셋에 대한 일반화 능력을 제한할 수 있음.
👍
Made with Slashpage