Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
Created by
- Haebom
Category
Empty
저자
Xuyang Zhong, Yixiao Huang, Chen Liu
개요
본 논문은 $l_0$ 놈으로 경계된 희소 적대적 섭동에 대한 빠른 적대적 훈련을 연구합니다. $l_0$ 제한된 섭동에 대한 1-step 공격을 빠른 적대적 훈련에 적용하는 어려움, 성능 저하 및 치명적인 과적합(CO) 발생을 보여줍니다. $l_0$ 적대적 훈련에서 CO는 1-step 공격의 최적이 아닌 섭동 위치로 인해 발생한다는 점을 강조합니다. 이론적 및 실험적 분석을 통해 $l_0$ 적대적 훈련의 손실 지형이 $l_\infty$, $l_2$, $l_1$과 비교하여 더 험준함을 밝힙니다. 또한, 험준한 손실 지형이 CO를 악화시킬 수 있음을 확인합니다. 이러한 문제를 해결하기 위해, 적대적 손실 지형을 부드럽게 하기 위해 소프트 라벨과 트레이드오프 손실 함수를 통합한 Fast-LS-$l_0$를 제안합니다. 광범위한 실험을 통해 제안된 방법이 치명적인 과적합 문제를 극복하고, 최첨단 성능을 달성하며, 희소 공격에 대한 1-step 및 다중 단계 적대적 훈련 간의 성능 차이를 줄일 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
$l_0$ 적대적 훈련에서 1-step 공격의 최적이 아닌 섭동 위치가 치명적인 과적합(CO)의 원인임을 밝힘.
◦
$l_0$ 적대적 훈련의 손실 지형이 다른 놈 기반 적대적 훈련보다 더 험준하다는 것을 이론적 및 실험적으로 증명.
◦
소프트 라벨과 트레이드오프 손실 함수를 활용한 Fast-LS-$l_0$ 방법을 제안하여 CO 문제를 해결하고 성능 향상을 달성.
◦
1-step과 다중 단계 적대적 훈련 간의 성능 차이를 줄임.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요.
◦
다른 유형의 적대적 공격에 대한 내구성 평가가 필요.
◦
$l_0$ 놈 이외의 다른 놈에 대한 적용 가능성 연구가 필요.
