신경모세포종(NB)의 정확한 아형 분류를 위한 다중 모달 학습(MML) 모델인 MMLNB를 제시한다. 기존의 주관적인 병리학적 평가 방식의 한계를 극복하고자, 병리 이미지와 생성된 텍스트 설명을 통합하여 정확도와 해석력을 향상시킨다. 두 단계 과정으로, 먼저 시각-언어 모델(VLM)을 미세 조정하여 병리학적 지식을 갖춘 텍스트 생성을 개선하고, 그 후 미세 조정된 VLM을 사용하여 시각 및 텍스트 특징을 독립적으로 추출하는 이중 분기 아키텍처를 통해 텍스트 설명을 생성한다. 추출된 특징들은 Progressive Robust Multi-Modal Fusion (PRMF) 블록을 통해 융합되어 안정적인 학습을 가능하게 한다. 실험 결과, MMLNB 모델은 단일 모달 모델보다 정확도가 높으며, 추가 실험을 통해 다중 모달 융합, 미세 조정 및 PRMF 메커니즘의 중요성을 확인했다. 이 연구는 신경모세포종 아형 분류의 신뢰성과 해석력을 향상시키는 확장 가능한 AI 기반 디지털 병리학 프레임워크를 제시한다. 소스 코드는 깃허브에서 공개한다.
