A Stochastic--Geometric Theory of Scaling Laws in Grokking
μμ±μ
- Haebom
μΉ΄ν
κ³ λ¦¬
Empty
μ μ
Roisin Luo, Christian Gagne, Jonas Ngnawe, Ihsan Ullah, Karyn Morrissey
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ μ κ²½λ§μ΄ νλ ¨ μ΄κΈ°μλ νλ ¨ λ°μ΄ν°μλ§ κ³Όμ ν©λλ€κ° μ€λ μκ°μ΄ μ§λ νμμΌ μΌλ°νλλ νμμΈ 'κ·Έλ‘νΉ(grokking)'μ κ·Όλ³Έ λ©μ»€λμ¦μ νλ₯ -κΈ°ννμ μ΄λ‘ μΌλ‘ κ·λͺ
ν©λλ€. Adam μ΅ν°λ§μ΄μ μ κ°μ€μΉ μΆμ μ κ·νκ° μ λνλ 'κ»μ§-ν΅' ννμ ν΄ κ³΅κ° ν ν΄λ‘μ§ κ΅¬μ‘°κ° κ·Έλ‘νΉμ μμΈμμ μ΄λ‘ μ μΌλ‘ λΆμνκ³ , μ΄λ₯Ό ν΅ν΄ νμ΅λ₯ , λ°°μΉ ν¬κΈ°, L2 μ κ·ν κ³μμ λν κ·Έλ‘νΉ μ€μΌμΌλ§ λ²μΉμ λμΆνμ΅λλ€.
π μμ¬μ λ° νκ³
β’
κ·Έλ‘νΉ νμμ λ¨μν κ³Όμ ν©μ΄ μλ, μ΅ν°λ§μ΄μ μ μ κ·νμ μν΄ μ λλλ ν΄ κ³΅κ°μ κΈ°ννμ ꡬ쑰 λ³νμ κ΄λ ¨μ΄ μμμ μ΄λ‘ μ μΌλ‘ κ·λͺ
νμ΅λλ€.
β’
λμΆλ κ·Έλ‘νΉ μ€μΌμΌλ§ λ²μΉμ κΈ°μ‘΄ μ°κ΅¬ κ²°κ³Όλ€μ 볡μνλ©°, λ₯λ¬λ λͺ¨λΈμ νλ ¨ κ³Όμ μ΄ν΄ λ° μ΅μ ν κΈ°λ² μ€κ³μ μ€μν ν΅μ°°μ μ 곡ν©λλ€.
β’
μ μλ μ΄λ‘ μ Adam μ΅ν°λ§μ΄μ μ νΉμ μ κ·ν κΈ°λ²μ κΈ°λ°νκ³ μμ΄, λ€λ₯Έ μ΅ν°λ§μ΄μ λ μ κ·ν κΈ°λ²μμμ κ·Έλ‘νΉ νμμ λν νμ₯ μ°κ΅¬κ° νμν©λλ€.
