본 논문은 대규모 언어 모델(LLM)의 지식 증류(KD)를 통한 모방으로부터 LLM을 보호하는 새로운 방법인 방어적 출력 생성(DOGe) 전략을 제시한다. 기존의 워터마킹과 같은 방법들은 모방을 사후적으로만 식별하거나, 학생 모델이 교사 모델의 내부 로짓을 모방한다는 가정하에 작동하기 때문에, 출력 텍스트만을 관찰하여 증류하는 경우에는 효과적이지 않다. DOGe는 API 기반 접근의 현실적인 제약 하에서 교사 LLM의 최종 선형 계층만을 적대적 손실로 미세 조정하여 출력 동작을 미묘하게 수정함으로써, 합법적인 사용자에게는 정확하고 유용한 출력을 유지하면서 증류에는 오류를 유발하도록 설계되었다. 실험 결과, DOGe는 교사 모델의 성능을 유지하거나 개선하면서도, 방어적으로 생성된 교사 출력으로부터 증류된 학생 모델의 성능을 극적으로 저하시켜, KD 기반 모델 모방에 대한 실용적인 보호책으로서의 효과를 입증하였다.
