Soft-TransFormers for Continual Learning
Created by
- Haebom
Category
Empty
μ μ
Haeyong Kang, Chang D. Yoo
π‘ κ°μ
λ³Έ μ°κ΅¬λ μ¬μ νμ΅λ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ κ°μ€μΉλ₯Ό κ³ μ ν μ±, νμ€ν¬ μ μμ μν νλΌλ―Έν° ν¨μ¨μ μΈ μ§μ νμ΅ νλ μμν¬μΈ Soft-Transformer(Soft-TF)λ₯Ό μ μν©λλ€. Soft-TFλ λͺ
μμ μΈ ν둬ννΈλ μ΄λν° λμ , μ
ν μ΄ν
μ
λ©μ»€λμ¦μ ν€, 쿼리, κ°, μΆλ ₯ ν¬μμ μ μ©λλ μ€μν λ§μ€ν¬λ₯Ό νμ΅νμ¬ νμ€ν¬λ³λ‘ λΆλλ½κ³ μμ μ μΈ μ μμ κ°λ₯νκ² ν©λλ€.
π μμ¬μ λ° νκ³
β’
κΈ°μ‘΄μ ν둬ννΈ κΈ°λ°, μ΄λν° κΈ°λ°, LoRA λ°©μλ³΄λ€ λ°μ΄λ μ±λ₯μ 보μ΄λ©΄μλ μ μ μμ μΆκ° νλΌλ―Έν°λ§μ μꡬνλ ν¨μ¨μ μΈ μ§μ νμ΅ κΈ°λ²μ μ μν©λλ€.
β’
νμ΅λ μ€μν λ§μ€ν¬λ₯Ό ν΅ν΄ κΈ°μ‘΄ μ§μμ 보쑴νκ³ μΉλͺ
μ λ§κ°μ ν¨κ³Όμ μΌλ‘ μννλ λμμ, λΆλλ½κ³ μμ μ μΈ νμ€ν¬ μ μμ λ¬μ±ν©λλ€.
β’
νμ΅λ μ€μν λ§μ€ν¬μ ν΄μ κ°λ₯μ± λ° λ€μν νΈλμ€ν¬λ¨Έ μν€ν
μ²λ‘μ μΌλ°ν κ°λ₯μ±μ λν μΆκ° μ°κ΅¬κ° νμν©λλ€.
