Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Multi-PA: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models

Created by
  • Haebom
Category
Empty

저자

Jie Zhang, Xiangkui Cao, Zhouyu Han, Shiguang Shan, Xilin Chen

개요

대규모 시각-언어 모델(LVLM)은 다양한 작업에서 뛰어난 잠재력을 보여주지만, 심각한 개인 정보 보호 위험에 직면하여 실제 적용에 제한이 있다. 현재 LVLM의 개인 정보 보호 평가 연구는 범위가 제한적이며, 평가 차원과 개인 정보 보호 범주 모두에 격차가 존재한다. 이러한 격차를 해소하기 위해, 저자들은 개인 정보 인식과 유출 측면에서 LVLM의 개인 정보 보호 능력을 평가하기 위한 포괄적인 벤치마크인 Multi-PA를 제안한다. 개인 정보 인식은 입력 데이터의 개인 정보 보호 민감도를 인식하는 모델의 능력을 측정하고, 개인 정보 유출은 모델이 출력에서 의도하지 않게 개인 정보 보호 정보를 공개할 위험을 평가한다. Multi-PA는 26개의 개인 정보 보호 범주, 15개의 영업 비밀 범주, 18개의 국가 기밀 범주를 포함하여 총 31,962개의 샘플을 다룬다. Multi-PA를 기반으로 21개의 오픈 소스 및 2개의 클로즈 소스 LVLM의 개인 정보 보호 능력을 평가한 결과, 현재 LVLM은 개인 정보 유출을 용이하게 할 위험이 높은 것으로 나타났으며, 개인 정보 보호, 영업 비밀 및 국가 기밀에 걸쳐 취약성이 다양하게 나타났다.

시사점, 한계점

시사점:
LVLM의 개인 정보 보호 능력을 평가하는 포괄적인 벤치마크인 Multi-PA를 제안.
26개의 개인 정보 보호 범주, 15개의 영업 비밀 범주, 18개의 국가 기밀 범주를 포함한 31,962개의 샘플을 사용하여 평가를 수행.
21개의 오픈 소스 및 2개의 클로즈 소스 LVLM을 평가하여 현재 모델의 개인 정보 보호 취약성을 확인.
LVLM이 개인 정보 보호, 영업 비밀 및 국가 기밀 유출 위험을 내포하고 있음을 입증.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음.
👍