이 연구는 위암 분석을 위한 대규모 멀티모달 벤치마크 데이터셋인 Gastric-X를 소개합니다. Gastric-X는 환자의 CT 스캔, 내시경 이미지, 생화학 지표, 진단 노트, 종양 영역 주석 등 실제 임상 워크플로우를 반영하는 다양한 데이터를 포함합니다. 제안된 데이터셋은 시각적 질문 답변, 보고서 생성, 교차 모달 검색, 질병 분류, 병변 국소화 등 5가지 핵심 임상 작업을 통해 최신 비전-언어 모델(VLM)의 성능을 체계적으로 평가합니다.
🔑 시사점 및 한계
•
실제 임상 환경을 반영한 멀티모달 데이터셋 부족 문제를 해결하여 의료 분야 VLM 연구 발전에 기여합니다.
•
VLM이 생화학적 신호와 종양의 공간적 특징, 텍스트 보고서 간의 의미 있는 연관성을 파악할 수 있는지 탐구하는 데 중요한 자원입니다.
•
현재 VLM의 이해 능력과 임상적 의사결정 지원 가능성을 평가하기 위한 표준 벤치마크 역할을 합니다.
•
데이터셋의 규모와 다양성을 더욱 확장하고, 다양한 인종 및 문화적 배경을 가진 환자 데이터를 포함하여 모델의 일반화 성능을 높이는 것이 향후 과제입니다.
