Sign In

Loop Corrections to the Training Error and Generalization Gap of Random Feature Models

Created by
  • Haebom
Category
Empty

μ €μž

Taeyoung Kim

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” μ‹ κ²½λ§μ˜ 초기 κ°€μ€‘μΉ˜ μ•™μƒλΈ”μ—μ„œ μƒ˜ν”Œλ§λœ κ³ μ •λœ 신경망을 λ¬΄μž‘μœ„ νŠΉμ§•μœΌλ‘œ μ‚¬μš©ν•˜κ³  νŒλ… κ°€μ€‘μΉ˜λ§Œ μ΅œμ ν™”ν•˜λŠ” λ¬΄μž‘μœ„ νŠΉμ§• λͺ¨λΈμ˜ ν›ˆλ ¨ μ˜€μ°¨μ™€ μΌλ°˜ν™” 간극을 톡계 물리학적 κ΄€μ μ—μ„œ λΆ„μ„ν•©λ‹ˆλ‹€. 평균 컀널 근사λ₯Ό λ„˜μ–΄, 유효 μž₯둠적 ν”„λ ˆμž„μ›Œν¬λ₯Ό 톡해 ν›ˆλ ¨ 였차, ν…ŒμŠ€νŠΈ 였차, μΌλ°˜ν™” 간극에 λŒ€ν•œ 루프 μˆ˜μ • 항듀을 μœ λ„ν•˜κ³ , μ΄λ“€μ˜ μŠ€μΌ€μΌλ§ 법칙을 λ„μΆœν•˜μ—¬ μ‹€ν—˜μ μœΌλ‘œ κ²€μ¦ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ¬΄μž‘μœ„ νŠΉμ§• λͺ¨λΈμ—μ„œ 평균 컀널 근사λ₯Ό λ„˜μ–΄μ„œλŠ” 유효 μž₯둠적 루프 μˆ˜μ • 항이 ν›ˆλ ¨ 및 μΌλ°˜ν™” μ„±λŠ₯에 μ€‘μš”ν•œ 영ν–₯을 미침을 λ³΄μ—¬μ£Όμ—ˆμŠ΅λ‹ˆλ‹€.
β€’
μœ λ„λœ μŠ€μΌ€μΌλ§ 법칙은 λ‹€μ–‘ν•œ λ„ˆλΉ„μ˜ μ‹ κ²½λ§μ—μ„œμ˜ μΌλ°˜ν™” λ©”μ»€λ‹ˆμ¦˜μ„ μ΄ν•΄ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” νŠΉμ • μ’…λ₯˜μ˜ λ¬΄μž‘μœ„ νŠΉμ§• λͺ¨λΈμ— μ΄ˆμ μ„ λ§žμΆ”μ—ˆμœΌλ©°, 더 λ³΅μž‘ν•œ 신경망 κ΅¬μ‘°λ‚˜ ν•™μŠ΅ 동역학에 λŒ€ν•œ μ μš©μ€ ν–₯ν›„ 연ꡬ 과제둜 λ‚¨μ•„μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage