Sign In

Drawback of Enforcing Equivariance and its Compensation via the Lens of Expressive Power

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yuzhu Chen, Tian Qin, Xinmei Tian, Fengxiang He, Dacheng Tao

πŸ’‘ κ°œμš”

이 논문은 2μΈ΅ ReLU μ‹ κ²½λ§μ—μ„œ λ“±λ³€μ„±(equivariance) μ œμ•½μ΄ ν‘œν˜„λ ₯에 λ―ΈμΉ˜λŠ” 영ν–₯을 νƒκ΅¬ν•©λ‹ˆλ‹€. μ—°κ΅¬λŠ” λ“±λ³€μ„± μ œμ•½μ΄ ν‘œν˜„λ ₯을 μ•½ν™”μ‹œν‚¬ 수 μžˆμŒμ„ λ³΄μ—¬μ£Όμ§€λ§Œ, λͺ¨λΈ 크기λ₯Ό 늘림으둜써 μ΄λŸ¬ν•œ 단점을 보상할 수 μžˆμŒμ„ 증λͺ…ν•©λ‹ˆλ‹€. λ˜ν•œ, ν™•μž₯된 신경망 ꡬ쑰가 κ°€μ„€ κ³΅κ°„μ˜ 차원을 쀄여 μΌλ°˜ν™” μ„±λŠ₯을 ν–₯μƒμ‹œν‚¬ 수 μžˆμŒμ„ μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ“±λ³€μ„± μ œμ•½μ€ μ‹ κ²½λ§μ˜ ν‘œν˜„λ ₯을 μ œν•œν•  수 있으며, μ΄λŠ” λ°μ΄ν„°μ˜ λ‚΄μž¬μ  λŒ€μΉ­μ„±μ„ ν™œμš©ν•˜λŠ” κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” λΆ€μž‘μš©μž…λ‹ˆλ‹€.
β€’
λͺ¨λΈ 크기λ₯Ό λŠ˜λ¦¬λŠ” 것은 λ“±λ³€μ„± μ œμ•½μœΌλ‘œ μΈν•œ ν‘œν˜„λ ₯ 손싀을 효과적으둜 보상할 수 있으며, 였히렀 μΌλ°˜ν™” μ„±λŠ₯ ν–₯μƒμœΌλ‘œ μ΄μ–΄μ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” 2μΈ΅ ReLU 신경망에 μ΄ˆμ μ„ λ§žμΆ”κ³  μžˆμ–΄, 더 κΉŠμ€ λ„€νŠΈμ›Œν¬λ‚˜ λ‹€λ₯Έ ν™œμ„±ν™” ν•¨μˆ˜μ— λŒ€ν•œ λ“±λ³€μ„± μ œμ•½μ˜ 영ν–₯에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage