Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning
Created by
Haebom
저자
LASA Team, Weiwen Xu, Hou Pong Chan, Long Li, Mahani Aljunied, Ruifeng Yuan, Jianyu Wang, Chenghao Xiao, Guizhen Chen, Chaoqun Liu, Zhaodonghui Li, Yu Sun, Junao Shen, Chaojun Wang, Jie Tan, Deli Zhao, Tingyang Xu, Hao Zhang, Yu Rong
개요
본 논문은 의료 영상 및 의료 텍스트 데이터를 활용하여 의료 전문 지식을 갖춘 다중 모달 대규모 언어 모델(MLLM)인 Lingshu를 제안한다. 기존 MLLM의 의료 분야 적용 한계 (의료 지식 부족, 환각 발생, 복잡한 의료 상황 추론 부족)를 해결하기 위해, 포괄적인 데이터 큐레이션 절차를 통해 다양한 의료 지식 데이터를 수집하고 정확한 캡션, VQA, 추론 샘플을 생성하여 풍부한 의료 지식을 포함하는 다중 모달 데이터셋을 구축한다. Lingshu는 다단계 훈련을 통해 의료 전문 지식을 통합하고 과제 해결 능력을 향상시키며, 검증 가능한 보상을 활용한 강화 학습을 통해 의료 추론 능력을 향상시키도록 설계되었다. 또한, 표준화되고 공정하며 효율적인 모델 평가를 위한 통합 평가 프레임워크인 MedEvalKit를 개발하여 다양한 의료 과제(다중 모달 QA, 텍스트 기반 QA, 의료 보고서 생성)에서 Lingshu의 성능을 평가하고 기존 모델 대비 우수성을 확인하였다.
시사점, 한계점
•
시사점:
◦
의료 영상 및 텍스트 데이터를 통합한 다중 모달 대규모 언어 모델 Lingshu 개발을 통해 의료 분야에서의 MLLM 적용 가능성을 높였다.
◦
포괄적인 데이터 큐레이션 절차와 다단계 훈련을 통해 의료 지식 및 추론 능력 향상을 달성했다.
◦
MedEvalKit를 통해 의료 MLLM의 표준화된 평가를 가능하게 하였다.
◦
강화학습을 활용하여 의료 추론 능력 향상을 시도하였다.
•
한계점:
◦
본 논문에서 제시된 Lingshu 모델의 성능 평가는 제한된 벤치마크 및 과제에 국한될 수 있다.
