RadCLIP은 방사선 영상 분석을 향상시키기 위해 시각-언어 사전 학습(VLP) 프레임워크를 활용하는 새로운 교차 모달 비전-언어 기반 모델입니다. 기존 모델들이 일반 의료 이미지가 아닌 일반 이미지로 사전 훈련되어 방사선 영상의 복잡성을 제대로 다루지 못하는 문제를 해결하기 위해, RadCLIP은 방사선 영상과 해당 텍스트 주석을 효과적으로 정렬하도록 사전 훈련되어 방사선 영상에 대한 강력한 비전 백본을 만듭니다. 특히, 체적 이미지 분석을 위한 슬라이스 풀링 메커니즘을 통합하고 다양한 방사선 영상-텍스트 쌍으로 구성된 대규모 데이터셋을 사용하여 사전 훈련됩니다. 다양한 방사선 영상 하위 작업에서 우수한 성능을 보이며 진단 정확도 및 효율성 향상에 기여할 것으로 기대됩니다. 주요 기여는 다양한 2D/3D 방사선 영상-텍스트 쌍으로 구성된 대규모 데이터셋 구축, 2D 이미지 통합을 위한 어텐션 메커니즘을 사용하는 슬라이스 풀링 어댑터, 그리고 다양한 방사선 영상 하위 작업에 대한 포괄적인 평가입니다.