Doxing via the Lens: Revealing Location-related Privacy Leakage on Multi-modal Large Reasoning Models
Created by
Haebom
저자
Weidi Luo, Tianyu Lu, Qiming Zhang, Xiaogeng Liu, Bin Hu, Yue Zhao, Jieyu Zhao, Song Gao, Patrick McDaniel, Zhen Xiang, Chaowei Xiao
개요
본 논문은 다중 모드 대규모 추론 모델(MLRMs)의 새로운 프라이버시 위험, 즉 사용자 생성 이미지를 통해 사용자의 민감한 위치 정보(주소, 동네 등)를 추론할 수 있는 가능성을 제기한다. 연구진은 이미지 콘텐츠의 맥락적 민감도와 위치 추론 가능성에 따라 이미지 내용을 분류하는 3단계 시각적 프라이버시 위험 프레임워크를 제안하고, 다양한 프라이버시 시나리오를 반영하는 500개의 실제 이미지로 구성된 DoxBench 데이터셋을 소개한다. 11개의 고급 MLRMs 및 MLLMs에 대한 평가 결과, 이러한 모델들이 비전문가보다 위치 추론에서 일관되게 더 나은 성능을 보이며 위치 관련 개인 정보를 효과적으로 유출할 수 있음을 보여준다. 이러한 취약성의 주요 원인으로는 MLRMs의 강력한 추론 능력과 프라이버시 관련 시각적 단서에 대한 의존성을 지적하며, 위치 추론 성능을 향상시키는 GeoMiner라는 협업 공격 프레임워크를 제안한다. 결론적으로 MLRMs의 추론 시간 프라이버시 위험을 재평가하여 사용자의 민감한 정보를 더 잘 보호해야 할 필요성을 강조한다.
시사점, 한계점
•
시사점:
◦
다중 모달 대규모 추론 모델(MLRMs)의 새로운 프라이버시 위험(위치 정보 유출)을 밝힘.
◦
MLRMs의 위치 추론 취약성을 정량적으로 평가하고, 그 원인을 분석.
◦
실제 공격 가능성을 보여주는 GeoMiner 공격 프레임워크 제안.
◦
MLRMs의 프라이버시 위험 재평가 및 사용자 정보 보호를 위한 시급성을 강조.
•
한계점:
◦
DoxBench 데이터셋의 규모가 상대적으로 작을 수 있음.
◦
GeoMiner를 포함한 공격 프레임워크의 일반화 가능성에 대한 추가 연구 필요.
◦
특정 MLRMs 및 MLLMs에 대한 평가 결과이므로, 다른 모델에 대한 일반화에는 추가 연구가 필요.
