A Mathematical Explanation of Transformers
Created by
- Haebom
Category
Empty
μ μ
Xue-Cheng Tai, Hao Liu, Lingfeng Li, Raymond H. Chan
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ νΈλμ€ν¬λ¨Έ μν€ν
μ²λ₯Ό ꡬ쑰νλ μ λΆ-λ―ΈλΆ λ°©μ μμ μ΄μ°νλ‘ μ€λͺ
νλ μλ‘μ΄ μ°μ νλ μμν¬λ₯Ό μ μν©λλ€. μ΄ νλ μμν¬λ μ
ν μ΄ν
μ
λ©μ»€λμ¦μ λΉκ΅μ μ λΆ μ°μ°μλ‘, λ μ΄μ΄ μ κ·νλ₯Ό μκ° μμ‘΄μ μ μ½ μ‘°κ±΄μ λν ν¬μμΌλ‘ μμ°μ€λ½κ² μ€λͺ
ν©λλ€. μ΄λ₯Ό ν΅ν΄ μ΄ν
μ
, νΌλν¬μλ λ μ΄μ΄, μ κ·ν λ± νΈλμ€ν¬λ¨Έμ ν΅μ¬ κ΅¬μ± μμλ₯Ό ν΅ν©μ μ΄κ³ ν΄μ κ°λ₯ν λ°©μμΌλ‘ μ΄ν΄ν μ μλ κΈ°λ°μ μ 곡ν©λλ€.
π μμ¬μ λ° νκ³
β’
νΈλμ€ν¬λ¨Έ ꡬ쑰μ μλ λ°©μμ μ°μ μν λͺ¨λΈλ§μ κ΄μ μμ κΉμ΄ μκ² μ΄ν΄ν μ μλ μ΄λ‘ μ κΈ°λ°μ μ μν©λλ€.
β’
μ΄ν
μ
, λ μ΄μ΄ μ κ·νμ κ°μ ν΅μ¬ λ©μ»€λμ¦μ μνμ μΌλ‘ λͺ
ννκ² ν΄μν¨μΌλ‘μ¨ μν€ν
μ² μ€κ³ λ° λΆμμ μλ‘μ΄ λ°©ν₯μ μ μν©λλ€.
β’
νμ¬μ μ΄λ‘ μ λΆμμ λμ΄ ν ν° μΈλ±μ€μ νΉμ§ μ°¨μ λͺ¨λμμ μ 체 νΈλμ€ν¬λ¨Έ μ°μ°μ μ°μ μμμ μλ² λ©νμ¬ λ κΉμ μ΄λ‘ μ ν΅μ°°λ ₯μ μ 곡ν©λλ€.
β’
μ μλ νλ μμν¬κ° μ€μ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ ν¨μ¨μ±μ΄λ μ±λ₯μ μ§μ μ μΌλ‘ ν₯μμν€λμ§λ μΆκ° μ°κ΅¬κ° νμν©λλ€.
