본 논문은 의료 분야에서의 대규모 언어 모델(LLM) 적용의 어려움, 특히 높은 계산 비용과 지연 시간, 그리고 소규모 언어 모델(SLM)의 제한된 용량 문제를 해결하기 위해 새로운 프레임워크를 제시합니다. 이 프레임워크는 의료 및 임상 말뭉치(PMC, Medical Guideline, MedWiki 등)를 사용한 전문가 사전 지시 미세 조정, 모델 병합, 그리고 임상 과제 정렬을 통해 38억 매개변수의 SLM인 MediPhi 모델 집합을 개발합니다. 또한, 임상 과제 대부분을 다루기 위해 기존 CLUE 벤치마크를 확장한 CLUE+를 제시하고, 14가지 의료 NLP 과제와 98가지 세분화된 문서 유형을 포함하는 250만 건의 고품질 지시어로 구성된 합성 데이터셋 MediFlow를 구축합니다. MediPhi는 지도 학습 미세 조정 및 직접적 선호도 최적화를 통해 추가적인 성능 향상을 달성합니다. 실험 결과, MediPhi는 여러 임상 과제에서 GPT-4-0125를 능가하는 성능을 보여줍니다.
