KidneyTalk-open: No-code Deployment of a Private Large Language Model with Medical Documentation-Enhanced Knowledge Database for Kidney Disease
Created by
- Haebom
Category
Empty
저자
Yongchao Long (Department of Computer Science, Tianjin University of Technology, Tianjin, China, National Institute of Health Data Science, Peking University, Beijing, China), Chao Yang (Renal Division, Department of Medicine, Peking University First Hospital, Beijing, China, Center for Digital Health and Artificial Intelligence, Peking University First Hospital, Beijing, China), Gongzheng Tang (National Institute of Health Data Science, Peking University, Beijing, China), Jinwei Wang (Renal Division, Department of Medicine, Peking University First Hospital, Beijing, China), Zhun Sui (Renal Department, Peking University People's Hospital, Beijing, China), Yuxi Zhou (Department of Computer Science, Tianjin University of Technology, Tianjin, China), Shenda Hong (National Institute of Health Data Science, Peking University, Beijing, China), Luxia Zhang (National Institute of Health Data Science, Peking University, Beijing, China)
개요
KidneyTalk-open은 신장 질환에 대한 개인 정보 보호를 준수하는 의료 의사 결정 지원 시스템으로, 클라우드 기반이 아닌 로컬 환경에서 최첨단 오픈소스 대규모 언어 모델(LLM)을 배포하여 데이터 보안 문제를 해결합니다. 의료 문서 처리 파이프라인과 적응형 검색 및 증강 파이프라인(AddRep)을 통합하여 의료 지식 통합 및 검색 정확도 향상을 구현했습니다. 비전문가도 사용 가능한 그래픽 인터페이스를 제공하며, 1,455개의 신장학 시험 문제를 이용한 실험 결과, AddRep는 기준선 대비 8.1% 향상된 29.1%의 정확도를 달성하였습니다. 기존 시스템과 비교 연구를 통해 임상 질의 응답에서 우수한 성능을 보였으며, 안전하고 문서 기반 의료 Q&A를 가능하게 하는 최초의 노코드 의료 LLM 시스템으로 평가됩니다.
시사점, 한계점
•
시사점:
◦
개인 정보 보호를 중시하는 의료 환경에서 안전하게 최첨단 LLM을 활용 가능하게 함.
◦
노코드 방식으로 기술적 전문 지식 없이도 배포 및 사용 가능.
◦
의료 문서 처리 및 지식 통합 기능을 통해 의료 질의 응답 정확도 향상.
◦
기존 시스템 대비 우수한 임상 질의 응답 성능.
◦
의료 현장에서 LLM 활용의 접근성을 높임.
•
한계점:
◦
AddRep의 4.9%의 거짓 답변 비율은 여전히 개선의 여지가 있음.
◦
현재는 신장 질환에 특화되어 다른 의료 분야 적용에는 추가 연구 필요.
◦
오픈소스 LLM 의존으로 인한 성능 변화 가능성 존재.
◦
대규모 데이터셋을 이용한 더욱 엄격한 검증 필요.
