Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning
Created by
Haebom
저자
LASA Team, Weiwen Xu, Hou Pong Chan, Long Li, Mahani Aljunied, Ruifeng Yuan, Jianyu Wang, Chenghao Xiao, Guizhen Chen, Chaoqun Liu, Zhaodonghui Li, Yu Sun, Junao Shen, Chaojun Wang, Jie Tan, Deli Zhao, Tingyang Xu, Hao Zhang, Yu Rong
개요
본 논문은 의료 영상 및 텍스트 데이터를 활용하여 의료 전문 지식을 갖춘 다중 모드 대규모 언어 모델(MLLM)인 Lingshu를 제시한다. 기존 의료 MLLM의 한계인 의학 지식의 제한된 적용 범위, 환각 현상의 높은 발생률, 복잡한 의료 상황에 대한 추론 능력 부족을 해결하기 위해, 다양한 의료 데이터를 효율적으로 수집하고 정확한 캡션, 시각적 질의응답(VQA), 추론 샘플을 생성하는 포괄적인 데이터 큐레이션 절차를 제안한다. Lingshu는 다단계 훈련을 통해 의료 전문 지식을 통합하고 과제 해결 능력을 향상시키며, 검증 가능한 보상 패러다임을 사용한 강화 학습을 활용하여 의료 추론 능력을 향상시키는 잠재력을 탐색한다. 또한, 표준화되고 공정하며 효율적인 모델 평가를 위한 통합 평가 프레임워크인 MedEvalKit를 개발하고, 다중 모드 QA, 텍스트 기반 QA, 의료 보고서 생성 등 세 가지 기본적인 의료 과제에 대한 Lingshu의 성능을 평가하여 기존 오픈소스 다중 모드 모델보다 우수한 성능을 보임을 확인한다.
시사점, 한계점
•
시사점:
◦
의료 영상과 텍스트 데이터를 통합한 다중 모드 의료 MLLM인 Lingshu 개발을 통해 기존 모델의 한계를 극복
