본 논문은 의료 질의응답 및 임상 의사결정에서 성공을 거둔 대규모 언어 모델(LLM)의 효율성과 대중화를 개선하기 위해 기존의 파라미터 업데이트 방식 대신 새로운 경량 의료 LLM인 SparseDoctor를 제안합니다. SparseDoctor는 대조 학습으로 강화된 LoRA-MoE(저랭크 적응-전문가 혼합) 아키텍처를 사용하여 계산 자원을 효율적으로 할당하고, 전문가 메모리 큐 메커니즘을 통해 메모리 오버플로우를 방지합니다. CMB, CMExam, CMMLU-Med 세 가지 의료 벤치마크에서 기존 모델인 HuatuoGPT 시리즈보다 우수한 성능을 보임을 실험적으로 증명합니다.
