Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PerMedCQA: Benchmarking Large Language Models on Medical Consumer Question Answering in Persian Language

Created by
  • Haebom

저자

Naghmeh Jamali, Milad Mohammadi, Danial Baledi, Zahra Rezvani, Hesham Faili

개요

PerMedCQA는 페르시아어로 된 최초의 의료 소비자 질문응답 벤치마크 데이터셋입니다. 대규모 의료 QA 포럼에서 수집된 68,138개의 질문-답변 쌍으로 구성되며, 최첨단 다국어 및 지시어 조정된 거대 언어 모델(LLM)의 성능을 평가하는 데 사용됩니다. LLM 기반 평가 프레임워크인 MedJudge를 통해 평가되었으며, 전문가 인간 평가자와의 검증을 거쳤습니다. 본 연구는 페르시아어와 같은 저자원 언어에서 의료 질문응답의 어려움을 보여주고, 더욱 정확하고 맥락을 인식하는 의료 지원 시스템 개발을 위한 통찰력을 제공합니다. 데이터셋은 Hugging Face에서 공개적으로 이용 가능합니다.

시사점, 한계점

시사점:
페르시아어 의료 소비자 질문응답 분야의 벤치마크 데이터셋인 PerMedCQA를 제공하여, 저자원 언어의 의료 정보 접근성 향상에 기여.
다국어 및 지시어 조정된 LLM의 페르시아어 의료 질문응답 성능 평가 및 분석을 통해 향후 모델 개발 방향 제시.
LLM 기반의 새로운 평가 프레임워크 MedJudge 제시.
실제 의료 소비자 질문 데이터를 활용하여 현실적인 평가 수행.
한계점:
데이터셋의 크기 및 품질에 대한 추가적인 검증 필요.
MedJudge의 LLM 기반 평가 방식의 객관성 및 신뢰성에 대한 추가적인 연구 필요.
페르시아어 외 다른 저자원 언어에 대한 확장성 연구 필요.
특정 의료 분야에 편향된 데이터셋일 가능성.
👍