본 논문은 전문가 주석 데이터가 부족한 상황에서 다중 모달 의료 이미지의 모달리티 융합 문제를 해결하기 위해, '사전 학습 + 미세 조정' 프레임워크를 기반으로 하는 새로운 반지도 학습 기반 다중 모달 의료 이미지 분류 방법을 제안합니다. 일관성, 재구성, 정렬 학습을 통합한 시너지 학습 사전 학습 프레임워크를 통해 한 모달리티를 다른 모달리티의 증강 샘플로 처리하여 자기 지도 학습을 수행하고 기본 모델의 특징 표현 능력을 향상시킵니다. 이후 다중 모달 융합을 위한 미세 조정 방법을 설계하여 각 모달리티별 특징 추출기와 다중 모달 융합 특징 추출기를 사용하고, 라벨 데이터 부족으로 인한 예측 불확실성과 과적합 위험을 완화하기 위해 다중 모달 융합 특징에 대한 분포 이동 방법을 제안합니다. Kvasir 및 Kvasirv2 위내시경 이미지 데이터셋을 사용한 실험 결과, 제안된 방법이 기존 최첨단 분류 방법보다 우수한 성능을 보임을 보여줍니다. 소스 코드는 GitHub에서 공개될 예정입니다.
