본 논문은 의료 분야의 시각 및 텍스트 입력을 통합 처리하는 멀티모달 대규모 언어 모델(LLM)의 조합 일반화 능력을 평가하기 위한 CrossMed 벤치마크를 소개합니다. CrossMed는 Modality-Anatomy-Task (MAT) 스키마를 사용하여 의료 이미지 데이터셋을 통합하고, 다양한 조건에서의 성능을 평가합니다.
시사점, 한계점
•
시사점:
◦
의료 멀티모달 LLM의 조합 일반화 능력 평가를 위한 새로운 벤치마크 제공
◦
분류 및 분할 작업을 포함한 다양한 의료 데이터셋을 통합하여 VQA 형식으로 변환
◦
LLaVA-Vicuna-7B 및 Qwen2-VL-7B 모델의 성능 평가 및 조합 일반화 능력의 한계점 제시
◦
분할 성능이 분류 데이터만으로 훈련된 모델에 의해 향상되는 교차 작업 전송(cross-task transfer) 효과 입증
◦
MAT 프레임워크의 유용성을 입증하고 멀티모달 LLM의 조합 일반화 능력을 강조
•
한계점:
◦
LLM의 조합 일반화 능력이 Unrelated 및 zero-overlap 조건에서 크게 감소함을 보임
