본 연구는 폐 결절 악성 여부 예측을 위한 기존 머신러닝 모델의 한계 (수동 주석 의존, 해석력 부족, 영상 변이에 대한 민감성)를 극복하고자, 방사선과 의사의 평가에서 얻은 의미론적 특징을 통합하는 접근 방식을 제시합니다. National Lung Screening Trial (NLST) 데이터와 다른 외부 데이터셋을 활용하여, Contrastive Language-Image Pretraining (CLIP) 모델을 매개변수 효율적인 미세 조정 기법으로 학습시켜 영상 및 의미론적 텍스트 특징을 정렬하고 1년 후 폐암 진단을 예측했습니다. 결과적으로 NLST 테스트 세트에서 최첨단(SOTA) 모델을 능가하는 AUROC 0.901, AUPRC 0.776의 성능을 달성했으며, 외부 데이터셋에서도 견고한 성능을 보였습니다. 또한 CLIP을 이용하여 결절 경계, 결절 일관성, 흉막 부착 등 의미론적 특징에 대한 예측을 제로샷 추론으로 얻었습니다. 이 접근법은 다양한 임상 환경에서 수집된 데이터셋에서 폐암 예측에 있어 SOTA 모델을 능가하며, 설명 가능한 출력을 제공하여 임상의의 이해를 돕고, 모델의 단축 학습을 방지하며, 임상 환경 전반에 걸쳐 일반화됩니다.
