본 논문은 고해상도 클래스 독립 분할(HRCS)에서 세밀한 상세 분할에 어려움을 겪는 Segment Anything Models (SAMs)의 한계를 해결하기 위해 MGD-SAM2를 제안합니다. MGD-SAM2는 전역 이미지와 지역 패치 간의 다중 뷰 특징 상호작용을 SAM2와 통합하여 정밀한 분할을 달성합니다. 이는 다중 뷰 인식 어댑터(MPAdapter), 다중 뷰 보완 향상 모듈(MCEM), 계층적 다중 뷰 상호작용 모듈(HMIM), 상세 개선 모듈(DRM)의 네 가지 새로운 모듈을 통합하여 고해상도 입력의 직접 처리 및 저해상도 마스크 예측의 제한, 정확한 수동 프롬프트에 대한 의존성 문제를 해결합니다. MPAdapter는 HRCS 이미지에서 지역적 세부 정보와 전역 의미를 향상된 방식으로 추출하도록 SAM2 인코더를 적용하고, MCEM과 HMIM은 다중 스케일 내 및 전반에 걸쳐 다중 뷰 특징을 집계하여 지역적 텍스처와 전역적 맥락을 활용합니다. 마지막으로 DRM은 저해상도 예측 맵을 직접 업샘플링하는 것으로 인한 세밀한 세부 정보 손실을 보상하기 위해 점진적으로 복원된 고해상도 마스크 예측을 생성합니다. 실험 결과는 여러 고해상도 및 일반 해상도 데이터 세트에서 모델의 우수한 성능과 강력한 일반화 능력을 보여줍니다. 코드는 https://github.com/sevenshr/MGD-SAM2 에서 이용 가능합니다.
