본 논문은 의료 및 수술 분야에서 다중 모드 대형 언어 모델(LLM)의 잠재력을 강조하며, 기존 수술 데이터셋의 문제점을 해결하고자 합니다. 이를 위해, 픽셀 단위 분할 및 구조화된 질의응답(VQA) 주석을 통합하여 랩, 로봇 보조, 미세 수술 분야를 아우르는 통합된 다중 모드 벤치마크인 SurgMLLMBench를 제안합니다. 특히, 새로 수집된 Micro-surgical Artificial Vascular anastomosIS (MAVIS) 데이터셋을 포함하며, 전통적인 VQA 작업을 넘어 풍부한 시각-대화 상호 작용을 가능하게 합니다. SurgMLLMBench를 사용한 광범위한 실험 결과는 단일 모델이 다양한 도메인에서 일관된 성능을 보이며, 보이지 않는 데이터셋에도 효과적으로 일반화됨을 보여줍니다. 이는 재현 가능한 평가와 대화형 수술 추론 모델 개발을 지원하는 강력한 리소스로서, 다중 모드 수술 AI 연구 발전에 기여할 것입니다.
