픽셀 수준의 의료 영상 분석 분야에서 획기적인 발전이 있었음에도 불구하고, 기존의 의료 영상 분할 모델은 의료 분할과 진단 작업을 함께 탐구하는 경우가 드물다. 본 논문은 의료 영상에 대한 임상 질의를 이해하고, 해당 분할 마스크와 진단 결과를 생성하는 것을 목표로 하는 Medical Diagnosis Segmentation (MDS)라는 의료 시각-언어 작업을 소개한다. 이 작업을 용이하게 하기 위해, 저자들은 다양한 다중 모달 다중 질병 의료 영상과 해당 분할 마스크 및 자동화된 진단 사고 과정 생성 파이프라인을 통해 생성된 진단 사고 과정이 쌍을 이루는 Multimodal Multi-disease Medical Diagnosis Segmentation (M3DS) 데이터 세트를 제시한다. 또한, Region-Aware Vision-Language Similarity to Mask (RVLS2M) 모듈을 활용하여 진단 분할 성능을 향상시키는 새로운 프레임워크인 Sim4Seg을 제안한다. 전체적인 성능 향상을 위해 MDS 작업에 대한 테스트 시간 스케일링 전략을 연구했다. 실험 결과는 제안된 방법이 분할과 진단 모두에서 기본 모델보다 우수함을 보여준다.
