본 논문은 의료 영상 분할에서 기존 U-Net 및 Transformer 기반 방법의 한계를 극복하기 위해, 대규모 언어 모델(LLM)을 활용한 새로운 Vision-LLM union framework을 제안합니다. 기존의 다중 모달 학습은 비용과 시간이 많이 드는 쌍으로 된 시각-언어 데이터셋 수집이 필요하지만, 본 연구는 동결된 LLM을 이용하여 의료 영상(예: T1-w, T2-w MRI 및 CT)을 기반으로 영상 판독 및 보고서 생성 과정을 모방하여 zero-shot 방식으로 정확한 텍스트 지시문을 생성합니다. LLM의 우수한 의미 이해 능력과 풍부한 지식을 활용하여 다양한 모달리티에서 특징을 추출하고 이를 통합하여 최종 진단에 활용합니다. 생성된 텍스트 지시문을 바탕으로, 사전에 수집된 시각-언어 데이터셋 없이도 다중 모달 분할을 수행하는 것이 가능합니다. 실험 결과, 제안된 방법이 기존 방법들보다 우수한 성능을 보임을 확인했습니다.
