Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
Created by
- Haebom
Category
Empty
μ μ
Jaeyoung Lee, Masato Mimura
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ μΈλΆ μμ± μΈμ½λλ μ¬μ νλ ¨λ LLM μμ΄ λ¨μΌ λμ½λ μ€νμΌλ‘ μμ± λ° ν
μ€νΈλ₯Ό μ²λ¦¬νλ μλ μμ± μΈμ(ASR)μ μν λμ½λ μ μ© Conformer λͺ¨λΈμ μ μν©λλ€. μ μλ λͺ¨λΈμ μμ± λ° ν
μ€νΈμ λν΄ λΆλ¦¬λ μ λ¬Έκ° νκ³Ό νλ λΌμ°ν
λ° top-1 μ νμ μ¬μ©νλ λͺ¨λ¬λ¦¬ν° μΈμ ν¬μ νΌν© μ λ¬Έκ°(MoE)λ₯Ό νΉμ§μΌλ‘ νλ©°, μ΄λ μλ°©ν₯ μμ± λ° μΈκ³Όμ ν
μ€νΈ μ²λ¦¬λ₯Ό μ§μνλ νμ΄λΈλ¦¬λ μΈκ³Όμ± Conformer λΈλ‘μ λ΄μ₯λ©λλ€.
π μμ¬μ λ° νκ³
β’
μΈλΆ μμ± μΈμ½λλ LLM μμ΄λ κ°λ ₯ν ASR μ±λ₯μ λ¬μ±ν μ μμμ 보μ¬μ£Όμμ΅λλ€.
β’
λͺ¨λ¬λ¦¬ν°λ³ ν¬μ MoEμ νμ΄λΈλ¦¬λ μΈκ³Όμ± Conformer λΈλ‘μ ν΅ν΄ ν¨μ¨μ μ΄κ³ μ νν μμ±-ν
μ€νΈ λ³νμ κ°λ₯νκ² ν©λλ€.
β’
무μμ μ΄κΈ°νλ λμ½λ μ μ© ASR λͺ¨λΈμ΄ κ°λ ₯ν ASR κΈ°μ€μ μ λ₯κ°νλ μ΅μ΄μ μ°κ΅¬λ‘μ, νμ± νλΌλ―Έν° μλ₯Ό μ€μ΄κ³ μΆκ°μ μΈ μ λ ¬/μ μ λͺ¨λ μμ΄ μ±λ₯μ ν₯μμμΌ°μ΅λλ€.
β’
ν₯ν μ°κ΅¬μμλ λ λ€μν μΈμ΄ λ° μμ± μ‘°κ±΄μ λν λͺ¨λΈμ μΌλ°ν λ₯λ ₯κ³Ό MoE λΌμ°ν
λ©μ»€λμ¦μ μ΅μ ν λ°©μμ νꡬν μ μμ΅λλ€.
