본 논문은 의료 영상 질의응답(QA)에서 다중 이미지 처리 능력이 부족한 현 의료 대규모 비전-언어 모델(LVLMs)의 한계를 해결하기 위해, 83,200개의 의료 다중 이미지 QA 쌍으로 구성된 Med-MIM instruction 데이터셋을 제시합니다. 이 데이터셋은 시간적 이해, 추론, 비교, 공참조 등 네 가지 유형의 다중 이미지 시각적 능력을 포함합니다. 본 논문에서는 이 데이터셋을 사용하여 Mantis와 LLaVA-Med를 미세 조정하여 다중 이미지 분석에 최적화된 MIM-LLaVA-Med와 Med-Mantis라는 두 가지 특수 의료 VLM을 개발합니다. 또한, LVLMs의 의료 다중 이미지 이해 능력을 종합적으로 평가하기 위한 Med-MIM 벤치마크를 개발하고, 8가지 LVLMs(자체 개발 모델 포함)의 성능을 평가합니다. 실험 결과, Med-Mantis와 MIM-LLaVA-Med는 Med-MIM 벤치마크의 보유 및 비보유 하위 집합에서 우수한 성능을 달성하여, Med-MIM instruction 데이터셋이 의료 분야에서 LVLMs의 다중 이미지 이해 능력을 효과적으로 향상시킨다는 것을 보여줍니다.
