Sign In

The Weight Gram Matrix Captures Sequential Feature Linearization in Deep Networks

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Taehun Cha, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Donghun Lee

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λ”₯ λ‰΄λŸ΄ λ„€νŠΈμ›Œν¬μ˜ ν•™μŠ΅ 과정을 μ΄ν•΄ν•˜κΈ° μœ„ν•΄ κ°€μ€‘μΉ˜ μ—…λ°μ΄νŠΈμ™€ νŠΉμ§• λ³€ν™”λ₯Ό μ—°κ²°ν•˜λŠ” νŠΉμ§• 쀑심 뢄석 틀을 μ œμ•ˆν•©λ‹ˆλ‹€. 'νŠΉμ§• ν•™μŠ΅ 방정식'μ΄λΌλŠ” κ°„λ‹¨ν•œ 항등식을 톡해 κ°€μ€‘μΉ˜ 그램 행렬이 νŠΉμ§• 동역학을 ν¬μ°©ν•˜λŠ” 핡심 κ°μ²΄μž„μ„ λ°ν˜€λ‚΄κ³ , 이λ₯Ό 기반으둜 가상 κ³΅λΆ„μ‚°μ΄λΌλŠ” κ°œλ…μ„ λ„μž…ν•˜μ—¬ νŠΉμ§•μ˜ λ³€ν™”λ₯Ό λΆ„μ„ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ”₯ λ„€νŠΈμ›Œν¬λŠ” ν•™μŠ΅ κ³Όμ •μ—μ„œ νŠΉμ§•μ„ λͺ©ν‘œ μ„ ν˜• ꡬ쑰둜 순차적으둜 λ³€ν™˜ν•˜λŠ” λ°©μ‹μœΌλ‘œ ν•™μŠ΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 가상 곡뢄산 κ°œλ…μ€ 신경망 νŠΉμ§•μ˜ 진화 과정을 μ΄ν•΄ν•˜λŠ” 데 μœ μš©ν•œ 도ꡬλ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬μ˜ μ ‘κ·Ό 방식은 Neural Collapse 및 생성 λͺ¨λΈμ˜ μ„ ν˜• 보간과 같은 κ²½ν—˜μ  ν˜„μƒμ— λŒ€ν•œ ν†΅μΌλœ 해석을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
κ°€μ€‘μΉ˜ 그램 ν–‰λ ¬μ˜ 뢄석이 νŠΉμ • 쑰건(예: μ„ ν˜• ν™œμ„±ν™” ν•¨μˆ˜) ν•˜μ—μ„œ 더 λͺ…ν™•ν•˜κ²Œ μž‘λ™ν•  수 있으며, λ³΅μž‘ν•œ λΉ„μ„ ν˜• ν™œμ„±ν™” ν•¨μˆ˜μ—μ„œμ˜ 적용 κ°€λŠ₯성에 λŒ€ν•œ μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage