Lipschitz-aware Linearity Grafting for Certified Robustness
Created by
Haebom
Category
Empty
저자
Yongjin Han, Suhyun Kim
개요
본 논문은 신경망의 인증된 견고성 향상을 위해 Lipschitz 상수를 활용하며, 특히 근사 오차를 줄이는 데 초점을 맞춘다. 선형성을 비선형 활성화 함수에 접목하여 근사 오차를 제거하고, 이로 인해 더 좁은 지역 Lipschitz 상수를 얻어 인증된 견고성을 향상시키는 Lipschitz 인식 선형성 접목 방법을 제안한다.
시사점, 한계점
•
선형성 접목을 통해 $l_\infty$ 지역 Lipschitz 상수를 개선하여 인증된 견고성을 향상시킬 수 있음을 이론적으로 규명.
•
주요 근사 오차 원인인 비선형 활성화 함수에 대한 선형성 접목을 통해 지역 Lipschitz 상수를 더 정확하게 계산.
•
인증된 훈련 없이도 지역 Lipschitz 상수를 좁혀 인증된 견고성을 향상시키는 Lipschitz 인식 선형성 접목 방법 제안.
•
실험을 통해 제안 방법의 효과를 검증.
•
NP-complete 문제인 최악의 적대적 예제 식별에 대한 직접적인 해결책 제시 X.
•
근사 오차 감소에 초점을 맞추어, 불안정한 뉴런의 수를 줄이는 기존의 선형성 접목 방법과는 다른 관점을 제시.
