# New Insight of Variance reduce in Zero-Order Hard-Thresholding: Mitigating Gradient Error and Expansivity Contradictions

### 저자

Xinzhe Yuan (Harbin Institute of Technology), William de Vazelhes (Mohamed bin Zayed University of Artificial Intelligence), Bin Gu (Mohamed bin Zayed University of Artificial Intelligence, Jilin University), Huan Xiong (Harbin Institute of Technology, Mohamed bin Zayed University of Artificial Intelligence)

### 💡 개요

본 연구는 $\ell_0$ 제약 최적화 문제 해결에 사용되는 하드-스레숄딩 알고리즘에서 0차(ZO) 기울기 근사를 사용할 때 발생하는 분산(variance) 문제를 다룹니다. 기존 SZOHT 알고리즘은 ZO 기울기의 편차와 하드-스레숄딩 연산자의 확장성 간의 상충 관계로 인해 랜덤 방향의 수에 제약이 있었습니다. 본 논문은 분산 감소에 대한 새로운 관점을 제시하고, 이를 통해 ZO 기울기와 하드-스레숄딩 간의 고유한 충돌을 완화하는 일반화된 분산 감소 ZO 하드-스레숄딩 알고리즘을 제안합니다.

### 🔑 시사점 및 한계

- 제안된 알고리즘은 랜덤 방향 수에 대한 제약을 제거하여 SZOHT 대비 개선된 수렴 속도와 넓은 적용 가능성을 제공합니다.

- ZO 기울기 근사와 하드-스레숄딩 연산자 간의 충돌을 완화하는 분산 감소 메커니즘을 통해 더 안정적인 최적화 성능을 기대할 수 있습니다.

- 제안된 방법의 실증적 효용성은 릿지 회귀 및 블랙박스 적대적 공격 문제에서 입증되었으며, 이는 실제 응용에서의 잠재력을 시사합니다.

- (한계점 또는 향후 과제) 아직 탐색되지 않은 더 복잡한 최적화 문제나 다양한 종류의 제약 조건에 대한 알고리즘의 일반화 및 성능 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2605.18035)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).