Fast Adversarial Training against Sparse Attacks Requires Loss Smoothing
Created by
- Haebom
Category
Empty
저자
Xuyang Zhong, Yixiao Huang, Chen Liu
Fast Adversarial Training Against $l_0$ Sparse Adversarial Perturbations
개요
본 논문은 $l_0$ 노름으로 제한된 희소적 적대적 섭동에 대한 빠른 적대적 훈련을 연구한다. 1단계 공격을 사용하여 $l_0$ 제한 섭동에 대한 빠른 적대적 훈련의 어려움을 보여준다. 여기에는 성능 저하와 치명적인 과적합(CO) 발생이 포함된다. $l_0$ 적대적 훈련에서 CO는 1단계 공격의 최적화되지 않은 섭동 위치로 인해 발생함을 강조한다. 이론적 및 경험적 분석을 통해 $l_0$ 적대적 훈련의 손실 지형이 $l_\infty$, $l_2$, $l_1$에 비해 더 거칠다는 것을 밝힌다. 또한, 거친 손실 지형이 CO를 악화시킬 수 있음을 확인한다. 이러한 문제를 해결하기 위해, 연성 레이블과 trade-off 손실 함수를 통합하여 적대적 손실 지형을 완화하는 Fast-LS-$l_0$를 제안한다. 광범위한 실험을 통해 제안된 방법이 치명적인 과적합 문제를 극복하고, 최첨단 성능을 달성하며, 희소 공격에 대한 1단계 및 다단계 적대적 훈련 간의 성능 격차를 줄일 수 있음을 보여준다.
시사점, 한계점
•
$l_0$ 노름 제한 섭동에 대한 빠른 적대적 훈련의 어려움 제시: 성능 저하 및 치명적인 과적합 발생.
•
$l_0$ 적대적 훈련에서의 치명적인 과적합 원인 분석: 1단계 공격의 최적화되지 않은 섭동 위치.
•
$l_0$ 적대적 훈련의 거친 손실 지형 특성 규명.
•
Fast-LS-$l_0$ 제안: 연성 레이블과 trade-off 손실 함수를 사용하여 문제 해결.
•
실험을 통해 제안된 방법의 효과 입증: 치명적인 과적합 극복, 최첨단 성능 달성, 1단계 및 다단계 훈련 간 성능 격차 축소.
•
논문 내 한계점은 명시되지 않음.
