PG-SAM: Prior-Guided SAM with Medical for Multi-organ Segmentation
Created by
Haebom
Category
Empty
저자
Yiheng Zhong, Zihong Luo, Chengzhi Liu, Feilong Tang, Zelin Peng, Ming Hu, Yingzhen Hu, Jionglong Su, Zongyuan Geand, Imran Razzak
개요
본 논문은 의료 영상 분할에 SAM(Segment Anything Model)을 적용할 때 정확도와 강건성이 크게 감소하는 문제를 해결하기 위해 Prior-Guided SAM (PG-SAM)을 제안합니다. 기존 방법들이 모달리티 융합을 통해 보다 상세한 prior 정보를 제공하는 것과 달리, 본 연구는 텍스트의 세분성과 도메인 간 차이가 prior의 정확도에 영향을 미치고, 고차원 추상적 의미와 픽셀 수준 경계 세부 정보 간의 불일치가 융합 과정에 노이즈를 유발한다고 주장합니다. PG-SAM은 의료 전문 지식을 활용하여 모달리티 정렬을 개선하는 세분화된 모달리티 prior 정렬기를 사용합니다. 의료 LLM에서 얻은 세분화된 텍스트를 통해 도메인 간 차이를 효율적으로 해결하고, 모달리티 정렬 후 prior의 품질을 향상시켜 더 정확한 분할을 보장합니다. 또한, 다단계 특징 융합 및 반복 마스크 최적화 연산을 통해 모델의 표현 능력을 향상시키는 디코더와 SAM에 고품질 의미 정보를 효과적으로 제공하는 통합 파이프라인을 제안합니다. Synapse 데이터셋에서의 광범위한 실험을 통해 PG-SAM이 최첨단 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
의료 영상 분할에서 SAM의 성능 저하 문제를 효과적으로 해결하는 새로운 방법(PG-SAM) 제시.
◦
세분화된 모달리티 prior 정렬기를 통해 의료 전문 지식을 효과적으로 활용.
◦
의료 LLM 기반의 세분화된 텍스트를 이용한 도메인 간 차이 해결.
◦
다단계 특징 융합 및 반복 마스크 최적화를 통한 모델 표현력 향상.
◦
Synapse 데이터셋에서 최첨단 성능 달성.
◦
공개된 코드를 통해 재현성 확보.
•
한계점:
◦
Synapse 데이터셋에 대한 실험 결과만 제시되어 다른 의료 영상 데이터셋에 대한 일반화 성능은 추가적인 검증이 필요.
