본 논문은 유방암 진단 및 위험 예측을 위한 새로운 Multi-View Mammography and Language Model (MV-MLM)을 소개합니다. 이 모델은 대규모 이미지-텍스트 쌍으로 사전 훈련된 Vision-Language Models (VLMs)을 활용하여 유방암 검사 영상과 합성된 방사선 보고서를 기반으로 학습됩니다. MV-MLM은 여러 뷰와 해당 가짜 방사선 보고서를 포함하는 교차 모달 자기 지도 학습을 통해 풍부한 표현을 학습합니다. 제안된 학습 전략은 다양한 데이터 유형 및 작업에 대한 일반화 및 정확도 성능을 향상시키며, 유방 조직 또는 암 특성 (석회화, 종괴)을 구별하고 유방 촬영 영상을 이해하며 암 위험을 예측하는 데 사용됩니다. 실험 결과는 악성 종양 분류, 아형 분류, 영상 기반 암 위험 예측에서 최첨단 성능을 달성했으며, 합성 텍스트 보고서를 사용하여 실제 방사선 보고서 없이도 데이터 효율성을 입증했습니다.
