Sign In

Flag Varieties: A Geometric Framework for Deep Network Alignment

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jingchuan Xiao, Xinyi Sui, Cihan Ruan

πŸ’‘ κ°œμš”

λ³Έ 논문은 λ”₯λŸ¬λ‹ λ„€νŠΈμ›Œν¬μ˜ 인접 κ°€μ€‘μΉ˜ 행렬듀이 ν˜Έν™˜λ˜λŠ” λΆ€λΆ„ 곡간 λ°©ν–₯을 ν˜•μ„±ν•˜λŠ” 'μ–ΌλΌμΈλ¨ΌνŠΈ' ν˜„μƒμ„ κΈ°ν•˜ν•™μ μœΌλ‘œ μ„€λͺ…ν•©λ‹ˆλ‹€. κΈ°ν•˜ν•™μ  λΆˆλ³€λŸ‰ 이둠을 톡해 μ–ΌλΌμΈλ¨ΌνŠΈ ꡬ쑰가 ν”Œλž˜κ·Έ 닀양체(flag variety)에 μ˜ν•΄ κ²°μ •λ˜λ©°, λΆ€λΆ„ 곡간 ꡐ차 차원이 μœ μΌν•œ μž¬λ§€κ°œλ³€μˆ˜ν™” λΆˆλ³€λŸ‰μž„μ„ 증λͺ…ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 릿지 μ •κ·œν™”λŠ” κ°€μ€‘μΉ˜ 감쇠에 μ˜ν•΄ κ²°μ •λ˜λŠ” μ§€μˆ˜μ  μ†λ„λ‘œ λΆ€λΆ„ 곡간 μ–ΌλΌμΈλ¨ΌνŠΈλ₯Ό μœ λ„ν•˜κ³ , λΉ„μ„ ν˜• ν™œμ„±ν™” ν•¨μˆ˜λŠ” μ„ ν˜• λ„€νŠΈμ›Œν¬μ™€ 달리 λΉ„μ„ ν˜• λ„€νŠΈμ›Œν¬μ—μ„œ 일반적인 μ™„μ „ν•œ κΈ°μ € μ–ΌλΌμΈλ¨ΌνŠΈμ— λŒ€ν•œ κ΅ν™˜μž μž₯μ• λ₯Ό μœ λ°œν•¨μ„ λ³΄μž…λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ”₯λŸ¬λ‹ λ„€νŠΈμ›Œν¬μ˜ 'μ–ΌλΌμΈλ¨ΌνŠΈ' ν˜„μƒμ΄ νŠΉμ • κ²½ν—˜μ  관찰이 μ•„λ‹Œ, κΈ°ν•˜ν•™μ μœΌλ‘œ 필연적인 κ΅¬μ‘°μž„μ„ μˆ˜ν•™μ μœΌλ‘œ 규λͺ…ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ‹ κ²½λ§μ˜ λ‚΄λΆ€ μž‘λ™ 방식을 순방ν–₯ 전달 없이 κ°€μ€‘μΉ˜ κ³΅κ°„λ§ŒμœΌλ‘œ 뢄석할 수 μžˆλŠ” μƒˆλ‘œμš΄ 진단 도ꡬλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€.
β€’
μ œμ‹œλœ 이둠적 ν”„λ ˆμž„μ›Œν¬λŠ” μ‹ κ²½λ§μ˜ ν•™μŠ΅ 동역학 및 μ‹ κ²½ λΆ•κ΄΄(Neural Collapse)와 같은 ν˜„μƒμ„ 졜초 μ›λ¦¬λ‘œλΆ€ν„° μ„€λͺ…ν•  수 μžˆλŠ” ν†΅μΌλœ κΈ°ν•˜ν•™μ  해석을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
λ…Όλ¬Έμ—μ„œ λ‹€λ£¨λŠ” μ–ΌλΌμΈλ¨ΌνŠΈ 및 진단 λ„κ΅¬μ˜ 적용 λ²”μœ„μ™€ λ³΅μž‘ν•œ 신경망 κ΅¬μ‘°μ—μ„œμ˜ μ„±λŠ₯ 검증은 ν–₯ν›„ 연ꡬ 과제둜 λ‚¨μŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage