DrugRAG: Enhancing Pharmacy LLM Performance Through A Novel Retrieval-Augmented Generation Pipeline

작성자

Haebom

카테고리

Empty

저자

Houman Kazemzadeh, Kiarash Mokhtari Dizaji, Seyed Reza Tavakoli, Farbod Davoodi, MohammadReza KarimiNejad, Parham Abed Azad, Fatemeh Latifi, Ali Sabzi, Armin Khosravi, Siavash Ahmadi, Babak Khalaj, Mohammad Hossein Rohban, Glolamali Aminian, Zohreh Amoozgar, Tahereh Javaheri

💡 개요

본 연구는 약학 면허 시험 스타일의 질의응답 과제에서 대규모 언어 모델(LLM)의 성능을 평가하고 정확도를 향상시키기 위한 외부 지식 통합 방법을 제안합니다. 141개 문항의 약학 데이터셋으로 10가지 LLM을 벤치마킹한 결과, GPT-5가 92%로 가장 높은 성능을 보였으나, 오픈소스 모델은 상대적으로 낮은 성능을 나타냈습니다. 이에 약물 정보를 검색하여 프롬프트에 약리학적 증거를 추가하는 3단계 RAG 파이프라인인 DrugRAG를 개발하였고, 모든 평가 모델에서 7%에서 21%p의 정확도 향상을 달성했습니다.

🔑 시사점 및 한계

•

DrugRAG는 모델 구조나 파라미터 변경 없이도 LLM의 약학 질의응답 성능을 효과적으로 향상시킬 수 있습니다.

•

특히 소형 및 중형 오픈소스 모델에서 통계적으로 유의미한 성능 개선이 관찰되어, 접근 가능한 AI 솔루션 구축에 기여할 수 있습니다.

•

향후 연구에서는 더 넓은 범위의 약학 관련 질문과 다양한 LLM에 대한 DrugRAG의 성능을 검증하고, 실제 임상 환경에서의 적용 가능성을 탐색해야 합니다.

PDF 보기

Made with Slashpage