Transformers perform adaptive partial pooling
Created by
- Haebom
Category
Empty
μ μ
Vsevolod Kapatsinski
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ νΈλμ€ν¬λ¨Έ λͺ¨λΈ(GPT-2)μ΄ νλ ¨ κ³Όμ μμ μ μ°¨μ μΌλ‘ νμ¬ μ»¨ν
μ€νΈ μΈλΆμ μ 보μ λν μμ‘΄λλ₯Ό μ€μ¬λκ°λ©°, μ΄λ κ³μΈ΅μ νκ·μ μ μμ λΆλΆ νλ§(adaptive partial pooling)κ³Ό μ μ¬ν λ°©μμΌλ‘ 컨ν
μ€νΈ λΉλ, μ’
λ₯ λ° λ³λμ±μ μν₯μ λ°λλ€λ κ²μ 보μ¬μ€λλ€. μ¦, νΈλμ€ν¬λ¨Έλ νλ ¨μ΄ μ§νλ μλ‘ λ λΉλ²ν 컨ν
μ€νΈμ λν μ 보λ₯Ό μ νμ μΌλ‘ νμ©νκ³ , μ΄λ¬ν νμ΅ νΉμ±μ΄ ν©λ¦¬μ μ΄κ³ κ²½νμ μΌλ‘λ νλΉν¨μ μ£Όμ₯ν©λλ€.
π μμ¬μ λ° νκ³
β’
νλ ¨μ΄ μ§νλ¨μ λ°λΌ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ μλ‘κ±°λ λλ¬Έ 컨ν
μ€νΈμ λν΄ νμ¬ μ»¨ν
μ€νΈμ μ 보μ λ μ§μ€νλ κ²½ν₯μ 보μ΄λ©°, μ΄λ μΈμ΄ λͺ¨λΈμ μΌλ°ν λ₯λ ₯μ λν νμ€μ μΈ λͺ¨λΈλ§μ μ 곡ν©λλ€.
β’
νΈλμ€ν¬λ¨Έμ νμ΅ λ°©μμ΄ κ³μΈ΅μ νκ·μ μ μ¬ν μ μμ λΆλΆ νλ§ λ©μ»€λμ¦μ λ°λ₯Έλ€λ μ μ κΈ°μ‘΄ λͺ¨λΈλ€μ νμ΅ μ리λ₯Ό μ΄ν΄νλ λ° μλ‘μ΄ ν΅μ°°μ μ 곡ν©λλ€.
β’
λ³Έ μ°κ΅¬λ GPT-2μ κ΅νλ μ€ν κ²°κ³Όλ₯Ό μ μνλ©°, λ€λ₯Έ μν€ν
μ²μ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ΄λ λ€μν λ°μ΄ν°μ
μ λν μΌλ°ν κ°λ₯μ±μ μΆκ°μ μΌλ‘ κ²μ¦ν νμκ° μμ΅λλ€.
