코드 완성 모델에 대한 멤버십 추론 공격은 주어진 코드 조각이 훈련 데이터의 일부였는지 추론하여 개인 정보 위험을 평가하는 효과적인 방법입니다. 기존의 black-box 및 gray-box 멤버십 추론 공격은 비싼 대리 모델이나 수동으로 제작된 휴리스틱 규칙에 의존하여, 과도하게 매개변수화된 코드 언어 모델이 나타내는 미묘한 암기 패턴을 포착하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 우리는 코드 특정 적대적 교란과 딥 러닝을 결합한 코드 완성 모델을 위해 특별히 설계된 AdvPrompt-MIA라는 방법을 제안합니다. 이 방법의 핵심 참신함은 피해 코드 모델의 출력에 변화를 유도하는 일련의 적대적 프롬프트를 설계하는 것입니다. 이러한 출력을 정답 완성본과 비교하여 멤버 샘플과 비멤버 샘플을 자동으로 구별하는 분류기를 훈련하기 위한 특징 벡터를 구성합니다. 이 설계를 통해 우리의 방법은 더 풍부한 암기 패턴을 포착하고 훈련 세트 멤버십을 정확하게 추론할 수 있습니다. 우리는 APPS 및 HumanEval 벤치마크를 통해 Code Llama 7B와 같은 널리 사용되는 모델에 대한 포괄적인 평가를 수행합니다. 결과는 우리의 접근 방식이 최대 102%의 AUC 증가를 보이면서 최첨단 기준선을 일관되게 능가한다는 것을 보여줍니다. 또한, 우리의 방법은 다른 모델 및 데이터 세트 간에 강력한 전이성을 보이며, 실용적인 유용성과 일반화 가능성을 강조합니다.
