1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem
Created by
- Haebom
Category
Empty
저자
Marius F. R. Juston, William R. Norris, Dustin Nottage, Ahmet Soylemezoglu
개요
본 논문은 두 가지 표준 1-Lipschitz 신경망 구조 방법론인 Almost-Orthogonal-Layers (AOL)과 SDP-based Lipschitz Layers (SLL)의 가중치 매개변수화를 논의하고, 이러한 초기화를 둘러싼 근본적인 문제점들을 논의하는 것 외에도 심층 1-Lipschitz 순전파 신경망의 초기화에 미치는 영향을 도출합니다. 이러한 신경망은 주로 출력 분류 결과에 대한 섭동의 영향을 제한하여 적대적 공격에 대처하기 위한 인증 가능한 강력한 분류 애플리케이션에 사용됩니다. 표준 정규 분포 초기화를 가정하여 매개변수화된 가중치 분산에 대한 정확한 값과 상한을 계산했습니다. 또한 일반화된 정규 분포를 가정하여 상한을 계산하여 균일, 라플라스 및 정규 분포 가중치 초기화에 대한 증명을 일반화했습니다. 가중치 분산은 출력 분산 분포에 영향을 미치지 않으며 가중치 행렬의 차원만 중요하다는 것을 보여줍니다. 또한, 본 논문은 가중치 초기화가 항상 심층 1-Lipschitz 신경망을 0으로 감소시킨다는 것을 보여줍니다.
시사점, 한계점
•
시사점: AOL과 SLL의 가중치 매개변수화 및 초기화 전략에 대한 이해를 심화시켜, 인증 가능한 강건한 분류를 위한 심층 1-Lipschitz 신경망 설계에 기여합니다. 가중치 분산이 출력 분산에 영향을 미치지 않고, 차원만 중요하다는 것을 밝힘으로써 효율적인 네트워크 설계를 위한 새로운 통찰력을 제공합니다.
•
한계점: 본 논문은 특정 초기화 분포(정규 분포 및 일반화된 정규 분포)에 대한 분석에 국한되어 있습니다. 다른 초기화 분포에 대한 분석이 필요하며, 실제 적용 시의 성능 평가가 부족합니다. 심층 1-Lipschitz 네트워크의 0으로의 감소 현상에 대한 해결 방안 제시가 미흡합니다.
