Automatic Calibration for Membership Inference Attack on Large Language Models
Created by
Haebom
Category
Empty
저자
Saleh Zare Zade, Yao Qiang, Xiangyu Zhou, Hui Zhu, Mohammad Amin Roshani, Prashant Khanduri, Dongxiao Zhu
개요
본 논문은 대규모 언어 모델(LLM)의 사전 훈련 데이터에 특정 텍스트가 포함되었는지 여부를 판별하는 멤버십 추론 공격(MIA)의 한계점을 극복하기 위해 새로운 프레임워크인 ACMIA(Automatic Calibration Membership Inference Attack)를 제안합니다. ACMIA는 조정 가능한 온도를 사용하여 출력 확률을 효과적으로 보정하며, LLM 사전 훈련 중 최대 가능도 추정에 대한 이론적 통찰력에 기반합니다. 모델 접근 수준에 따라 세 가지 구성으로 제공되며, 멤버와 비멤버 간의 확률 차이를 증가시켜 신뢰성과 강건성을 향상시킵니다. 다양한 오픈소스 LLM을 사용한 실험 결과, ACMIA는 기존 방법보다 우수한 성능을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
기존 MIA의 높은 위양성률 문제를 해결하는 효과적인 방법 제시.
◦
추가 참조 모델 없이 출력 확률을 효과적으로 보정하는 ACMIA 프레임워크 제안.
◦
세 가지 구성을 통해 다양한 모델 접근 수준에 적용 가능성 증대.
◦
다양한 벤치마크에서 기존 최고 성능을 능가하는 높은 효율성과 강건성, 일반화 성능을 입증.
◦
오픈소스 코드 공개를 통한 접근성 향상.
•
한계점:
◦
ACMIA의 성능이 특정 LLM 아키텍처나 훈련 데이터에 따라 달라질 수 있는지에 대한 추가적인 연구 필요.
