REMEMBER는 뇌 MRI 스캔을 사용하여 알츠하이머병 진단을 위한 제로-샷 및 퓨샷 학습이 가능한 새로운 기계 학습 프레임워크입니다. 전문가가 주석을 단 참조 데이터를 사용하여 대조적으로 정렬된 비전-텍스트 모델을 먼저 학습하고, 이상 유형, 진단 레이블 및 복합 임상 설명을 인코딩하는 의사 텍스트 모드를 확장합니다. 추론 시에는 큐레이션된 데이터셋에서 유사하고 사람이 검증한 사례를 검색하고, 전용 증거 인코딩 모듈과 어텐션 기반 추론 헤드를 통해 해당 상황 정보를 통합합니다. 이러한 증거 기반 설계를 통해 REMEMBER는 검색된 영상 및 텍스트 컨텍스트에 예측을 근거하여 실제 임상 의사 결정 과정을 모방할 수 있습니다. REMEMBER는 임상 워크플로우와 정렬된 참조 이미지 및 설명을 포함한 해석 가능한 보고서와 함께 진단 예측을 출력합니다. 실험 결과는 REMEMBER가 강력하고 설명 가능한 프레임워크를 제공하며, 특히 데이터가 제한된 실제 환경에서 신경 영상 기반 진단에 강력하고 견고한 제로-샷 및 퓨샷 성능을 달성함을 보여줍니다.
