Large-scale modality-invariant foundation models for brain MRI analysis: Application to lesion segmentation
Created by
Haebom
Category
Empty
저자
Petros Koutsouvelis, Matej Gazda, Leroy Volmer, Sina Amirrajab, Kamil Barbierik, Branislav Setlak, Jakub Gazda, Peter Drotar
개요
컴퓨터 비전 분야는 자기 지도 학습(SSL)을 통한 대규모 기반 모델 사전 학습으로의 패러다임 전환을 겪고 있습니다. 대량의 레이블이 없는 뇌 MRI 데이터를 활용하여 이러한 모델은 다양한 신경 영상 작업에서 소량의 데이터로도 우수한 성능을 보이는 해부학적 사전 정보를 학습할 수 있습니다. 본 연구는 다양한 모달리티의 MRI 정보를 캡처하기 위한 모달리티 불변 표현 학습 설정을 제안하고, 대규모 사전 학습 후 뇌졸중 및 간질 병변 분할에서의 효과를 평가합니다. 실험 결과는 모달리티 간 정렬이 성공적으로 이루어졌음에도 불구하고, 병변 분할은 주로 세밀한 모달리티별 특징을 보존하는 것으로부터 이점을 얻는다는 것을 시사합니다. 모델 체크포인트와 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
모달리티 불변 표현 학습 설정을 통해 다양한 뇌 MRI 영상 데이터에서 유용한 특징을 학습할 수 있음.
◦
뇌졸중 및 간질 병변 분할 작업에서 우수한 성능을 보임.
◦
모델과 코드를 공개하여 연구의 재현 및 확장을 용이하게 함.
•
한계점:
◦
모달리티 간 정렬이 성공했음에도 불구하고, 병변 분할에는 모달리티별 특징 보존이 더 중요함.
