Sign In

Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Chen Liang, Xiatao Sun, Qian Wang, Daniel Rakita

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ—­μ „νŒŒκ°€ λΆˆκ°€λŠ₯ν•œ 제둜슀-μ˜€λ”(ZO) μ΅œμ ν™”μ—μ„œ λ°œμƒν•˜λŠ” 기울기 μΆ”μ •μ˜ 높은 λΆ„μ‚° λ¬Έμ œμ™€ λΉ„νš¨μœ¨μ μΈ μƒ˜ν”Œ μ‚¬μš© 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ Coherent Coordinate Descent (CoCD) 방법을 μ œμ•ˆν•©λ‹ˆλ‹€. CoCDλŠ” κ³Όκ±° 기울기 정보λ₯Ό 효과적으둜 ν™œμš©ν•˜κ³ , μœ ν•œ μ°¨λΆ„ 단계 크기의 역섀적인 이점을 톡해 μ΅œμ ν™” 과정을 μ•ˆμ •ν™”ν•˜μ—¬ μƒ˜ν”Œ νš¨μœ¨μ„±κ³Ό 수렴 μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ—­μ „νŒŒ 없이도 효율적이고 μ•ˆμ •μ μΈ ZO μ΅œμ ν™”κ°€ κ°€λŠ₯함을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
기쑴의 λ¬΄μž‘μœ„ν™”λœ ZO 방법보닀 결정둠적이며 ꡬ쑰λ₯Ό κ³ λ €ν•œ μ ‘κ·Ό 방식이 더 μš°μˆ˜ν•  수 μžˆμŒμ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
μœ ν•œ μ°¨λΆ„ 단계 크기가 클수둝 였히렀 μ΅œμ ν™” μ§€ν˜•μ„ μ•”λ¬΅μ μœΌλ‘œ ν‰ν™œν™”ν•˜μ—¬ μ•ˆμ •μ„±μ„ 높일 수 μžˆλ‹€λŠ” μƒˆλ‘œμš΄ 톡찰을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ°©λ²•μ˜ 이둠적 뢄석 및 μ‹€ν—˜μ΄ μ œν•œλœ ν™˜κ²½(예: 맀우 ν¬μ†Œν•œ 기울기 정보)μ—μ„œμ˜ μ„±λŠ₯에 λŒ€ν•œ μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage