Sign In

The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Eslam Zaher, Maciej Trzaskowski, Quan Nguyen, Fred Roosta

πŸ’‘ κ°œμš”

λ³Έ 논문은 Sparse Autoencoder(SAE)의 μž¬κ΅¬μ„± 였λ₯˜κ°€ κ³„μΈ΅λ§ˆλ‹€ λ‹€λ₯Έ ν˜„μƒμ„ μ„€λͺ…ν•˜κΈ° μœ„ν•΄ ν™œμ„±ν™” κ³΅κ°„μ˜ κΈ°ν•˜ν•™μ  ꡬ쑰, 특히 닀양체(manifold)의 곑λ₯ κ³Ό λ‚΄μž¬μ  차원에 μ£Όλͺ©ν•©λ‹ˆλ‹€. μ €μžλ“€μ€ SAE의 폭-ν¬μ†Œλ„ ν™•μž₯ 법칙이 κ³„μΈ΅λ§ˆλ‹€ λ‹€λ₯Έ 닀양체 ꡬ쑰에 따라 κ²°μ •λœλ‹€λŠ” 것을 λ°œκ²¬ν–ˆμœΌλ©°, μ΄λŠ” SAEκ°€ μ§λ©΄ν•˜λŠ” μ œμ•½μ΄ λ‹¨μˆœνžˆ λ¦¬μ†ŒμŠ€ ν•œκ³„κ°€ μ•„λ‹Œ κΈ°ν•˜ν•™μ  ꡬ쑰에 μ˜ν•΄ κ²°μ •λ˜λŠ” "κΈ°ν•˜ν•™μ  λ²½"μž„μ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
SAE의 μ„±λŠ₯ 및 ν™•μž₯ 법칙은 ν™œμ„±ν™” κ³΅κ°„μ˜ κΈ°ν•˜ν•™μ  νŠΉμ„±(곑λ₯ , λ‚΄μž¬μ  차원)에 크게 μ˜μ‘΄ν•˜λ©°, μ΄λŠ” κ³„μΈ΅λ§ˆλ‹€ λ‹¬λΌμ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
닀양체 κ΅¬μ‘°λŠ” SAE의 폭-ν¬μ†Œλ„ ν™•μž₯ 법칙에 λŒ€ν•œ 예츑λ ₯을 가지며, μ΄λŠ” λͺ¨λΈ 간에도 전이 κ°€λŠ₯ν•œ κΈ°ν•˜ν•™μ  법칙이 μ‘΄μž¬ν•  κ°€λŠ₯성을 μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
SAEκ°€ μ§λ©΄ν•˜λŠ” μž¬κ΅¬μ„± 였λ₯˜μ˜ ν•˜ν•œμ„ (asymptotic floor)은 λ‹€μ–‘μ²΄μ˜ 곑λ₯  및 λ‚΄μž¬μ  차원과 μ–‘μ˜ 상관관계λ₯Ό 가지며, μ΄λŠ” ν¬μ†Œ μ„ ν˜• 근사가 곑면 닀양체에 λŒ€ν•΄ ν•„μ—°μ μœΌλ‘œ λ°œμƒν•˜λŠ” 2μ°¨ μž”μ°¨μ— κΈ°μΈν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” SAE의 ν™•μž₯ 법칙을 μ΄ν•΄ν•˜λŠ” μƒˆλ‘œμš΄ 관점을 μ œμ‹œν•˜μ§€λ§Œ, SAE μ™Έ λ‹€λ₯Έ λͺ¨λΈ μ•„ν‚€ν…μ²˜μ— λŒ€ν•œ μΌλ°˜ν™” κ°€λŠ₯μ„± 및 λ‹€μ–‘ν•œ κΈ°ν•˜ν•™μ  νŠΉμ§•μ΄ SAE μ„±λŠ₯에 λ―ΈμΉ˜λŠ” 영ν–₯에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage