본 논문은 에이전트 AI 시대에 멀티모달 모델(MM)의 증가하는 배포가 민감한 훈련 데이터를 유출할 수 있는 새로운 공격 벡터를 도입하여 개인 정보 유출을 초래한다는 점에 주목하여, 멀티모달 시각-언어 모델(VLM)에 대한 블랙박스 개인 정보 공격, 즉 멤버십 추론 공격(MIA)을 조사합니다. 생물학적 영감을 받은 신경망 표현이 적대적 공격에 대한 단일 모달 모델의 복원력을 향상시킬 수 있다는 연구 결과를 바탕으로, 본 논문은 신경과학적 영감을 받은 MM이 개인 정보 공격에 대한 복원력을 갖는지 여부를 탐구하기 위해 체계적인 신경과학적 영감을 받은 위상 정규화(tau) 프레임워크를 도입합니다. BLIP, PaliGemma 2, ViT-GPT2의 세 가지 VLM과 COCO, CC3M, NoCaps의 세 가지 벤치마크 데이터 세트를 사용하여 실험을 수행합니다. COCO 데이터 세트를 사용한 BLIP 모델 실험 결과, NEURO VLM에서 MIA 공격 성공률이 평균 ROC-AUC 24% 감소했으며, MPNet 및 ROUGE-2 지표 측면에서 유사한 모델 유틸리티를 달성했습니다. 이는 신경 VLM이 개인 정보 공격에 상대적으로 더 강력하며, 모델 유틸리티를 크게 손상시키지 않음을 보여줍니다.
