The Cost of Robustness: Tighter Bounds on Parameter Complexity for Robust Memorization in ReLU Nets
Created by
Haebom
Category
Empty
저자
Yujun Kim, Chaewon Moon, Chulhee Yun
개요
ReLU 네트워크의 로버스트 메모리제이션에 대한 파라미터 복잡성을 연구. 주어진 데이터셋을 $\epsilon$-분리를 통해 보간하고, 훈련 샘플 주변 $\mu$-ball 내에서 예측 일관성을 보장하는 데 필요한 파라미터 수를 분석. 로버스트니스 비율 $\rho = \mu / \epsilon$에 대한 파라미터 수의 상한과 하한을 설정하며, $\rho$의 전체 범위 $(0,1)$에 걸쳐 정밀한 분석을 수행하여 기존 결과를 개선하는 더 좁은 상한 및 하한을 얻음.
시사점, 한계점
•
시사점:
◦
$\rho$가 작을 때 로버스트 메모리제이션의 파라미터 복잡성은 비로버스트 메모리제이션과 일치.
