POLAR-Bench: A Diagnostic Benchmark for Privacy-Utility Trade-offs in LLM Agents

작성자

Haebom

카테고리

Empty

저자

Qiaoyuan Zheng, Yiqu Yang, Qi Gao, Imanol Schlag

💡 개요

본 논문은 LLM 에이전트가 사용자 개인정보를 다룰 때 발생하는 개인정보 보호와 유용성 사이의 균형을 진단하기 위한 새로운 벤치마크인 POLAR-Bench를 제안합니다. POLAR-Bench는 사용자 정의 프라이버시 정책과 공격적인 제3자 모델 상호작용을 통해 에이전트의 개인정보 보호 성능을 평가합니다. 연구 결과, 최첨단 모델은 높은 수준의 개인정보 보호를 달성했지만, 온디바이스나 개인 추론 환경에서 주로 사용되는 소형 모델들은 상대적으로 취약함을 보였습니다.

🔑 시사점 및 한계

•

LLM 에이전트의 개인정보 보호 격차: 대규모 최첨단 LLM 모델은 개인정보 보호에 강점을 보이나, 사용자가 직접 운영하기 쉬운 소형 모델들은 상대적으로 개인정보 유출 위험이 더 높다는 점을 시사합니다.

•

정량적이고 진단적인 평가: POLAR-Bench는 다양한 공격 전략과 정책 차원을 통해 모델의 개인정보 보호 취약점을 구체적인 영역에서 식별할 수 있는 진단 도구를 제공합니다.

•

개인정보 보호와 유용성의 복잡한 상호작용: 프라이버시 정책의 복잡성 및 공격 전략의 다양성은 모델의 개인정보 보호 성능에 큰 영향을 미치며, 이는 개인정보 보호 강화와 유용성 유지 간의 균형점을 찾는 데 어려움을 줄 수 있습니다.

PDF 보기

Made with Slashpage