본 논문은 코드 생성을 위한 대규모 언어 모델(LLM)의 급속한 성장과 그에 따른 품질, 안전성, 신뢰성 문제를 다룹니다. 모델 확장의 수확 체감과 고품질 학습 데이터 부족이라는 문제점을 해결하기 위해, 적대적 지식 증류(AKD)라는 새로운 방법을 제시합니다. AKD는 적대적으로 생성된 합성 데이터셋을 활용하여 대규모 모델의 기능을 더 작고 효율적인 모델로 증류하는 기술입니다. 이를 통해 코드 LLM의 추론 능력을 체계적으로 스트레스 테스트하고 개선하여 모델의 강건성, 신뢰성, 보안성을 향상시키고 매개변수 효율성을 개선합니다. 이는 제한된 데이터와 모델 실행의 비용 효율성 내에서 신뢰할 수 있는 자동 코드 생성을 위한 중요한 단계라고 주장합니다.
