Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MedPAIR: Measuring Physicians and AI Relevance Alignment in Medical Question Answering

Created by
  • Haebom

저자

Yuexing Hao, Kumail Alhamoud, Hyewon Jeong, Haoran Zhang, Isha Puri, Philip Torr, Mike Schaekermann, Ariel D. Stern, Marzyeh Ghassemi

개요

본 논문은 의료 질의응답(QA) 과제에서 대규모 언어 모델(LLM)의 성능 평가를 위해 MedPAIR 데이터셋을 제시합니다. MedPAIR는 1,300개의 QA 쌍과 36명의 의사 수련의가 각 질문 문장의 관련성에 대해 주석을 달은 데이터로 구성됩니다. 본 연구는 의사 수련의와 LLM이 질문에 답변할 때 관련 정보를 어떻게 우선순위화하는지 비교 분석하고, 관련 없는 문장을 제거했을 때 의사 수련의와 LLM의 성능 변화를 평가합니다. LLM은 의사 수련의의 관련성 평가와 일치하지 않는 경우가 빈번하며, 관련 없는 문장을 제거하면 의사 수련의와 LLM 모두 정확도가 향상되는 것을 확인했습니다. 모든 LLM 및 의사 수련의 레이블 데이터는 http://medpair.csail.mit.edu/ 에서 이용 가능합니다.

시사점, 한계점

•
시사점:
◦
MedPAIR 데이터셋을 통해 LLM의 의료 QA 능력을 보다 정교하게 평가할 수 있는 새로운 기준을 제시.
◦
LLM의 추론 과정의 투명성 확보 및 신뢰도 향상을 위한 방향 제시.
◦
의사 교육 및 LLM 개발에 활용 가능한 새로운 데이터셋 제공.
◦
관련 없는 정보 필터링을 통해 LLM 및 의사 수련의의 성능 향상 가능성을 확인.
•
한계점:
◦
MedPAIR 데이터셋의 규모가 상대적으로 작을 수 있음. (1,300개 QA 쌍)
◦
의사 수련의의 주관적인 판단에 기반한 관련성 레이블의 한계.
◦
다양한 의료 분야 및 질병 유형을 충분히 반영하지 못했을 가능성.
◦
LLM의 추론 과정에 대한 심층적인 분석이 부족.
👍
Made with Slashpage