본 논문은 심층 신경망의 적대적 예시 취약성을 해결하기 위해 제안된 적대적 훈련을 개선하는 Mixture of Robust Experts (MoRE) 방법을 제시합니다. 기존 적대적 훈련은 다양한 섭동 유형에 대한 견고성을 제한적으로 일반화하지만, MoRE는 게이팅 메커니즘을 통해 다양한 섭동 유형에 대해 적대적으로 훈련된 전문가 네트워크와 일반적으로 훈련된 네트워크를 결합합니다. 게이팅 모듈은 각 전문가에게 동적으로 가중치를 할당하여 적대적 예시, 악천후 섭동, 깨끗한 입력 등 다양한 데이터 유형에서 우수한 정확도를 달성합니다. 모호한 그래디언트 문제를 해결하기 위해 게이팅 모듈의 훈련은 전문가 네트워크의 마지막 완전 연결 계층의 미세 조정과 함께 적대적 훈련 방식으로 수행됩니다. 광범위한 실험을 통해 MoRE가 다양한 견고한 전문가를 유연하게 통합하여 우수한 성능을 제공함을 보여줍니다.
