PG-SAM: Prior-Guided SAM with Medical for Multi-organ Segmentation
Created by
Haebom
저자
Yiheng Zhong, Zihong Luo, Chengzhi Liu, Feilong Tang, Zelin Peng, Ming Hu, Yingzhen Hu, Jionglong Su, Zongyuan Ge, Imran Razzak
개요
본 논문은 의료 영상 분할에 SAM(Segment Anything Model)을 적용했을 때 정확도와 견고성이 떨어지는 문제를 해결하기 위해 Prior-Guided SAM (PG-SAM)을 제안합니다. 기존 방법들이 모달리티 융합을 통해 보다 상세한 prior 정보를 제공하는 것과 달리, 본 연구는 텍스트의 세분성과 도메인 간극이 prior의 정확도에 영향을 미친다는 점을 지적합니다. PG-SAM은 의료 LLM로부터 얻은 세분화된 텍스트를 활용하여 도메인 간극을 효과적으로 해결하고 모달리티 정렬을 개선하는 세분화된 모달리티 prior 정렬기를 사용합니다. 또한, 다단계 특징 융합 및 반복 마스크 최적화 연산을 통해 모델의 표현 능력을 향상시키는 디코더를 사용하고, SAM에 고품질의 의미 정보를 효과적으로 제공하는 통합 파이프라인을 제안합니다. Synapse 데이터셋에서의 실험 결과, PG-SAM이 최첨단 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
의료 영상 분할에서 SAM의 정확도와 견고성을 향상시키는 새로운 방법 제시.
◦
세분화된 모달리티 prior 정렬기를 통한 효과적인 도메인 간극 해결.
◦
의료 LLM 기반의 세분화된 텍스트를 활용한 고품질 prior 생성.
◦
다단계 특징 융합 및 반복 마스크 최적화를 통한 모델 표현력 향상.
◦
최첨단 성능 달성 및 소스 코드 공개.
•
한계점:
◦
Synapse 데이터셋에 대한 실험 결과만 제시되어 다른 의료 영상 데이터셋에 대한 일반화 성능 검증 필요.
