본 논문은 널리 사용되는 비전 기반 모델인 Segment Anything Model (SAM)의 적대적 공격에 대한 강건성을 평가하고 향상시키는 프레임워크를 제안합니다. 기존 연구들이 프롬프트의 역할을 간과하고, 강건성과 정확성의 균형을 고려한 방어 기법을 충분히 탐구하지 못한 점을 보완하기 위해, 다양한 프롬프트 유형에 대한 공격 전이성을 높이는 교차 프롬프트 공격 기법과, 매개변수 수를 제한하여 강건성과 정확성의 균형을 맞추는 소수 매개변수 적응 전략을 제시합니다. 특히, 특이값 분해(SVD)를 사용하여 훈련 가능한 매개변수 공간을 제한함으로써, 특이값만 적응시켜 성능 저하를 최소화합니다. 실험 결과, 제안된 교차 프롬프트 공격 기법은 SAM과 SAM 2에서 기존 방법보다 공격 성공률이 높았으며, 512개의 매개변수만 적응시켜도 다양한 적대적 공격에 대해 평균 IoU(mIoU)가 15% 이상 향상되는 것을 확인했습니다.
