Developing a PET/CT Foundation Model for Cross-Modal Anatomical and Functional Imaging
Created by
- Haebom
Category
Empty
저자
Yujin Oh, Robert Seifert, Yihan Cao, Christoph Clement, Justin Ferdinandus, Constantin Lapa, Alessandro Liebich, Michelle Amon, Johanna Enke, Sifan Song, Runqi Meng, Fang Zeng, Ning Guo, Xiang Li, Pedram Heidari, Axel Rominger, Kuangyu Shi, Quanzheng Li
개요
본 논문은 암 진단, 병기 결정 및 치료 모니터링에 널리 사용되는 양전자 방출 단층 촬영-컴퓨터 단층 촬영(PET/CT) 영상 분석을 위한 새로운 기반 모델, FratMAE(Cross-Fraternal Twin Masked Autoencoder)를 제안합니다. FratMAE는 PET와 CT 스캔에 대해 별도의 Vision Transformer(ViT) 인코더를 사용하고, 마스크드 오토인코더 학습 중 모달리티 간 상승 작용을 가능하게 하는 크로스 어텐션 디코더를 통해 전신 해부학적 및 기능적 또는 분자 정보를 효과적으로 통합합니다. 텍스트 메타데이터를 통합하여 PET 표현 학습을 향상시키며, PET/CT 데이터셋으로 사전 학습하여 복잡한 크로스 모달 관계와 전반적인 흡수 패턴을 포착하여 다운스트림 작업에서 우수한 성능을 달성하고 일반화 가능한 기반 모델로서의 잠재력을 보여줍니다. 기존의 특정 작업에 초점을 맞춘 모델 또는 제한된 데이터셋에 의존하는 모델의 일반화 및 강건성 한계를 극복하기 위한 대안으로 제시됩니다.
시사점, 한계점
•
시사점:
◦
PET/CT 영상 분석을 위한 일반화 가능하고 강건한 기반 모델을 제공합니다.
◦
모달리티 간 상승 작용을 통해 향상된 성능을 달성합니다.
◦
텍스트 메타데이터 활용을 통한 PET 표현 학습 향상을 제시합니다.
◦
다양한 다운스트림 작업에 적용 가능한 잠재력을 보여줍니다.
•
한계점:
◦
제안된 모델의 성능 평가에 사용된 데이터셋의 종류 및 규모에 대한 자세한 정보가 부족합니다.
◦
다양한 암종 및 임상 상황에 대한 일반화 성능에 대한 추가적인 검증이 필요합니다.
◦
모델의 해석 가능성 및 신뢰성에 대한 추가 연구가 필요합니다.
◦
실제 임상 환경에서의 적용 가능성 및 효용성에 대한 추가적인 평가가 필요합니다.
