CRISP-SAM2: SAM2 with Cross-Modal Interaction and Semantic Prompting for Multi-Organ Segmentation
Created by
Haebom
저자
Xinlei Yu, Changmiao Wang, Hui Jin, Ahmed Elazab, Gangyong Jia, Xiang Wan, Changqing Zou, Ruiquan Ge
개요
CRISP-SAM2는 의료 영상 처리에서 중요한 역할을 하는 다중 기관 의료 분할 모델입니다. 기존 모델들의 부정확한 세부 정보, 기하학적 프롬프트 의존성, 공간 정보 손실 문제를 해결하기 위해, 교차 모드 상호 작용과 의미 기반 프롬프팅을 사용하는 새로운 모델을 제시합니다. 시각 및 텍스트 입력을 진보적 교차 어텐션 상호 작용 메커니즘을 통해 교차 모드 상황화된 의미로 변환하고, 이를 이미지 인코더에 주입하여 시각 정보에 대한 이해도를 높입니다. 기하학적 프롬프트에 대한 의존성을 제거하기 위해 의미 기반 프롬프팅 전략을 사용하고, 메모리에 대한 유사도 정렬 자기 업데이트 전략과 마스크 개선 프로세스를 적용하여 의료 영상에 적응하고 국소적 세부 정보를 향상시킵니다. 7개의 공개 데이터셋에 대한 비교 실험 결과, 기존 모델보다 우수한 성능을 보였으며, 특히 기존 모델의 한계점을 효과적으로 해결함을 보여줍니다. 코드는 https://github.com/YU-deep/CRISP_SAM2.git 에서 이용 가능합니다.