Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem

Created by
  • Haebom
Category
Empty

저자

Marius F. R. Juston, Ramavarapu S. Sreenivas, William R. Norris, Dustin Nottage, Ahmet Soylemezoglu

개요

본 논문은 Almost-Orthogonal-Layers (AOL) 및 SDP-based Lipschitz Layers (SLL)와 같은 두 가지 표준 1-Lipschitz 네트워크 아키텍처의 가중치 파라미터화를 다룹니다. 딥 1-Lipschitz 피드포워드 네트워크의 초기화에 미치는 영향을 조사하고, 이 초기화와 관련된 근본적인 문제를 논의합니다. 특히, 적대적 공격에 대응하기 위해 분류 출력에 대한 섭동의 영향을 제한하는, 인증 가능한 견고한 분류 응용 프로그램에 중점을 둡니다. 표준 정규 분포 초기화를 가정하여 파라미터화된 가중치 분산에 대한 정확한 값과 상한을 계산했으며, 균등, 라플라스 및 정규 분포 가중치 초기화에 대한 증명을 일반화하는 일반화된 정규 분포를 가정하여 상한을 계산했습니다. 가중치 분산이 출력 분산 분포에 아무런 영향을 미치지 않으며, 가중치 행렬의 차원만이 중요하다는 것을 보여줍니다. 또한, 가중치 초기화가 항상 딥 1-Lipschitz 네트워크가 0으로 감소하게 한다는 것을 입증합니다.

시사점, 한계점

시사점:
1-Lipschitz 네트워크에서 가중치 초기화가 출력 분산에 미치는 영향은 가중치 자체의 분산이 아닌 가중치 행렬의 차원에 달려 있습니다.
표준 가중치 초기화는 딥 1-Lipschitz 네트워크의 0으로의 감소를 초래합니다.
한계점:
구체적인 한계점은 논문에 명시되지 않았습니다. (요약본에서 한계점을 직접적으로 언급하지 않았기 때문입니다.)
👍