Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

InfiMed: Low-Resource Medical MLLMs with Advancing Understanding and Reasoning

Created by
  • Haebom

저자

Zeyu Liu, Zhitian Hou, Guanghao Zhu, Zhijie Sang, Congkai Xie, Hongxia Yang

개요

본 논문은 의료 분야의 멀티모달 대규모 언어 모델(MLLM)의 적용에 있어 두 가지 주요 과제, 즉 희소한 멀티모달 의료 데이터셋과 의료 분야에서 Reinforcement Learning with Verifiable Rewards (RLVR)의 신뢰성 문제를 해결하고자 한다. 이를 위해, Supervised Fine-tuning (SFT) 단계에서 고품질 텍스트 추론 데이터와 일반 멀티모달 데이터를 멀티모달 의료 데이터와 함께 통합하여 기본 의료 능력을 향상시키고, 모델의 추론 능력을 복원했다. 또한 희소한 정보를 가진 멀티모달 의료 데이터셋을 고려하여, 일반 CoT 샘플 외에 반사 패턴 주입 chain-of-thought (CoT)를 합성하여 초기 반사 추론 능력을 부여했다. 그 결과, InfiMed-SFT-3B와 InfiMed-RL-3B 모델을 개발하여 7개의 멀티모달 의료 벤치마크에서 최고 성능을 달성했으며, InfiMed-RL-3B는 59.2%의 평균 정확도를 기록하여 InternVL3-8B(57.3%)보다 우수한 성능을 보였다.

시사점, 한계점

시사점:
SFT 단계에서 다양한 종류의 데이터를 활용하여 의료 분야 MLLM의 성능을 향상시켰다.
반사 패턴 주입 CoT를 통해 초기 반사 추론 능력을 부여하여 RLVR 훈련의 기반을 마련했다.
InfiMed-RL-3B 모델이 대형 모델을 능가하는 우수한 성능을 달성했다.
실험을 통해 의료 분야 MLLM 성능 향상에 기여할 수 있는 통찰력을 제공했다.
한계점:
논문에서 구체적인 데이터셋 구성 및 합성 방법론에 대한 상세 정보가 부족할 수 있다.
제안된 방법론의 일반화 가능성에 대한 추가적인 검증이 필요하다.
모델의 안전성 및 윤리적 측면에 대한 고려가 충분히 제시되지 않았을 수 있다.
👍