Feature Quality and Adaptability of Medical Foundation Models: A Comparative Evaluation for Radiographic Classification and Segmentation
Created by
Haebom
Category
Empty
저자
Frank Li, Theo Dapamede, Mohammadreza Chavoshi, Young Seok Jeon, Bardia Khosravi, Abdulhameed Dere, Beatrice Brown-Mulry, Rohan Satya Isaac, Aawez Mansuri, Chiratidzo Sanyika, Janice Newsome, Saptarshi Purkayastha, Imon Banerjee, Hari Trivedi, Judy Gichoya
개요
의료 영상 분야의 파운데이션 모델(FMs)의 일반화 성능이 다양하다는 문제점을 제기하며, 사전 훈련 도메인(의료 vs 일반), 패러다임(텍스트 기반 등), 아키텍처가 임베딩 품질에 미치는 영향을 평가합니다. 흉부 X-ray 분석을 위해 8개의 의료 및 일반 도메인 FMs의 비전 인코더를 평가하고, 선형 프로빙과 미세 조정을 사용하여 분류(기흉, 심비대) 및 분할(기흉, 심장 경계)을 벤치마킹합니다.
시사점, 한계점
•
시사점:
◦
의료 도메인 사전 훈련이 초기 특징 품질을 향상시키는 데 기여하며, 특히 분류 작업에 유용합니다.
◦
글로벌 분류 및 주요 해부학적 구조(예: 심장) 분할에 사전 훈련된 임베딩이 효과적입니다.
◦
텍스트-이미지 정렬이 필수적이지 않으며, 이미지 기반(RAD-DINO) 및 레이블 기반(Ark+) FMs이 우수한 성능을 보입니다.
◦
지도 학습 기반 모델이 복잡한 분할 작업에서 여전히 강력한 대안입니다.
•
한계점:
◦
미세 조정을 거치지 않은 FMs은 복잡하고 미묘한 병변(예: 기흉)의 국소화에 어려움을 겪습니다.
◦
FMs이 분류 작업에서 혼동 요인(예: 기흉의 경우 흉부 튜브)을 사용하여 정확한 분할에는 실패합니다.
◦
건축학적 선택(예: 다중 스케일)이 중요하며, 사전 훈련된 특징이 모든 작업에 효과적인 것은 아닙니다.
