본 논문은 혼합 전문가(MoE) 모델의 적대적 공격에 대한 취약성을 해결하기 위해, 전문가 네트워크의 강건성을 높이는 새로운 방법을 제안합니다. 먼저 MoE 구성 요소의 취약성을 분석하여 전문가 네트워크가 라우터보다 적대적 공격에 더 취약하다는 것을 발견하였습니다. 이를 바탕으로, 추가적인 전문가 하나만 강건하게 학습시키는 새로운 손실 함수를 통합하여 MoE의 적대적 강건성을 향상시키는 표적 강건 훈련 기법을 제안합니다. 훈련 및 추론 효율성 저하 없이 강건성을 높일 수 있습니다. 더 나아가 표준 MoE 모델과 강건화된 MoE 모델을 매끄럽게 결합하는 이중 모델 전략을 제시하여 강건성-정확도 트레이드오프를 유연하게 제어할 수 있도록 합니다. 단일 MoE와 이중 모델 모두에 대한 인증된 강건성 경계를 유도하여 이론적 토대를 제공하고, 이중 모델을 위한 새로운 공동 훈련 전략인 JTDMoE를 제안하여 개별 모델보다 강건성과 정확도를 모두 향상시킵니다. CIFAR-10 및 TinyImageNet 데이터셋에서 ResNet18과 Vision Transformer(ViT) 아키텍처를 사용한 실험 결과를 통해 제안된 방법의 효과를 보여줍니다. 코드는 공개적으로 제공됩니다.
