Sign In

Black-Box Membership Inference Attack for LVLMs via Prior Knowledge-Calibrated Memory Probing

Created by
  • Haebom
Category
Empty

저자

Jinhua Yin, Peiru Yang, Chen Yang, Huili Wang, Zhiyang Hu, Shangguang Wang, Yongfeng Huang, Tao Qi

개요

본 논문은 대규모 시각-언어 모델(LVLM)의 훈련 데이터에 대한 멤버십 추론 공격(MIA)을 위한 최초의 블랙박스 프레임워크를 제안한다. 제안된 프레임워크는 사전 지식으로 보정된 메모리 프로빙 메커니즘을 기반으로 하며, 블랙박스 환경에서 LVLM의 훈련 데이터를 효과적으로 식별하고, 기존의 그레이박스 및 화이트박스 방법과 유사한 성능을 달성한다.

시사점, 한계점

•
시사점:
◦
LVLM의 훈련 데이터에 대한 블랙박스 MIA를 위한 실용적인 프레임워크를 제시함.
◦
사전 지식 기반의 메모리 프로빙 메커니즘을 통해 모델의 기억 능력을 효과적으로 평가함.
◦
다양한 LVLM 및 데이터셋에 대한 광범위한 실험을 통해 방법론의 효과를 입증함.
◦
잠재적인 적대적 조작에 대한 강력한 성능을 보여줌.
•
한계점:
◦
제시된 블랙박스 방법의 성능이 모든 상황에서 최적일 수 있는지는 추가적인 연구가 필요함.
◦
메모리 프로빙 메커니즘의 효율성을 향상시키기 위한 추가적인 연구가 필요할 수 있음.
◦
코드 및 데이터의 접근성이 제한적일 경우, 방법론의 재현 및 확장이 어려울 수 있음.
👍
Made with Slashpage