본 논문은 다양한 teacher 모델들로부터의 지식 증류(KD)가 전이 가능한 적대적 예제 생성을 향상시킬 수 있는지 여부를 조사합니다. ResNet50과 DenseNet-161을 teacher 모델로 사용하여 curriculum-based switching과 joint optimization이라는 두 가지 KD 전략을 통해 경량화된 student 모델을 학습시킵니다. 학습된 student 모델을 사용하여 FG, FGS, PGD 공격을 통해 적대적 예제를 생성하고, black-box target 모델(GoogLeNet)에 대해 평가합니다. 실험 결과, 여러 teacher 모델로부터 증류된 student 모델은 앙상블 기반 기준선과 비슷한 공격 성공률을 달성하면서 적대적 예제 생성 시간을 최대 6배까지 단축시키는 것을 보여줍니다. 추가적인 ablation study를 통해 낮은 온도 설정과 hard-label supervision의 포함이 전이성을 크게 향상시킨다는 것을 밝힙니다. 이러한 결과는 KD가 모델 압축 기술일 뿐만 아니라 black-box 적대적 공격의 효율성과 효과를 향상시키는 강력한 도구로 사용될 수 있음을 시사합니다.
