본 논문은 매개변수 효율적인 미세 조정(PEFT) 기반의 대규모 언어 모델(LLM)이 악의적인 백도어 공격에 취약하다는 문제를 해결하기 위해 새로운 약-강력 언러닝 알고리즘인 W2SDefense를 제안합니다. W2SDefense는 특징 정렬 지식 증류를 활용하여, 소규모 청정 모델을 교사 모델로 활용하여 대규모 오염된 학생 모델이 백도어를 제거하도록 유도합니다. 이론적 분석과 세 가지 최첨단 LLM 및 다양한 백도어 공격 알고리즘을 사용한 실험을 통해 W2SDefense가 모델 성능 저하 없이 백도어 공격 방어에 탁월한 성능을 보임을 입증합니다.
