본 논문은 면역관문억제제(ICI) 치료를 받는 비소세포폐암(NSCLC) 환자의 생존 예측 정확도를 높이기 위한 대규모 데이터셋과 새로운 다중 모달 특징 융합 프레임워크를 제시합니다. 대규모 데이터셋은 NSCLC 환자의 3D CT 이미지, 임상 기록, 무진행 생존기간(PFS), 전체 생존기간(OS) 데이터로 구성됩니다. 제안된 프레임워크는 CT 이미지를 위한 Slice-Depth Transformer와 임상 변수를 위한 그래프 기반 Transformer를 사용하여 각 모달리티에 맞춤화된 두 가지 분기로 구성된 교차 모달리티 마스크 학습 접근 방식을 사용합니다. 마스크된 모달리티 학습 전략을 통해 손상되지 않은 모달리티를 사용하여 누락된 구성 요소를 재구성하여 모달리티 특이적 특징의 통합을 향상시키고 효과적인 모달리티 간 관계 및 특징 상호 작용을 촉진합니다. 이를 통해 기존 방법을 능가하는 NSCLC 생존 예측에 대한 다중 모달 통합 성능을 보여주고 새로운 기준을 제시합니다.
