본 논문은 대규모 언어 모델(LLM)의 지식 증류(Knowledge Distillation)가 회원 추론 공격(MIA)에 대한 모델의 강건성에 미치는 영향을 조사합니다. 방대한 데이터셋으로 훈련된 LLM은 민감한 정보를 포함할 수 있으며, 이는 MIA와 같은 개인 정보 보호 공격에 취약합니다. 본 연구는 교사 모델과 학생 모델에서의 개인 정보 보호 수준을 비교하고, 학생 모델의 MIA 취약성을 완화하기 위한 5가지 개인 정보 보호 지식 증류 방법을 제안합니다. 실험 결과, 교사 모델은 회원 데이터 보호에 더 효과적이고, 학생 모델은 비회원 데이터 보호에 더 효과적임을 보여줍니다. 제안된 방법들은 학생 모델의 MIA 취약성을 감소시키며, 특히 앙상블 기법을 통해 강건성을 더욱 향상시킵니다.
