Sign In

Joint Learning using Mixture-of-Expert-Based Representation for Speech Enhancement and Robust Emotion Recognition

Created by
  • Haebom
Category
Empty

μ €μž

Jing-Tong Tzeng, Carlos Busso, Chi-Chun Lee

πŸ’‘ κ°œμš”

λ³Έ 논문은 작음 ν™˜κ²½μ—μ„œ μ„±λŠ₯이 μ €ν•˜λ˜λŠ” μŒμ„± 감정 인식(SER) 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, μŒμ„± ν–₯상(SE)κ³Ό SER을 κ³΅λ™μœΌλ‘œ ν•™μŠ΅ν•˜λŠ” μƒˆλ‘œμš΄ 닀쀑 μž‘μ—… ν•™μŠ΅(MTL) ν”„λ ˆμž„μ›Œν¬μΈ Sparse MERITλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. Sparse MERITλŠ” ν”„λ ˆμž„λ³„λ‘œ 졜적의 μ „λ¬Έκ°€λ₯Ό λ™μ μœΌλ‘œ μ„ νƒν•˜λŠ” Mixture-of-Experts(MoE) 기반의 ν‘œν˜„ ν•™μŠ΅ 방식을 μ‚¬μš©ν•˜μ—¬, μž‘μ—… κ°„μ˜ 간섭을 쀄이고 효율적인 ν‘œν˜„μ„ ν•™μŠ΅ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, Sparse MERITλŠ” 작음이 μ‹¬ν•œ ν™˜κ²½μ—μ„œλ„ κΈ°μ‘΄ 방법둠 λŒ€λΉ„ SER 및 SE μ„±λŠ₯을 μœ μ˜λ―Έν•˜κ²Œ ν–₯μƒμ‹œν‚€λŠ” κ²ƒμœΌλ‘œ λ‚˜νƒ€λ‚¬μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
작음이 μ‹¬ν•œ ν™˜κ²½μ—μ„œλ„ μŒμ„± 감정 인식 및 μŒμ„± ν–₯상 μ„±λŠ₯을 λ™μ‹œμ— κ°œμ„ ν•  수 μžˆλŠ” 효과적인 MTL ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
Mixture-of-Experts 기반의 동적 μ „λ¬Έκ°€ λΌμš°νŒ…μ„ 톡해 μž‘μ—… νŠΉν™”μ μ΄κ³  효율적인 ν‘œν˜„ ν•™μŠ΅μ΄ κ°€λŠ₯함을 μž…μ¦ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ Sparse MERIT λͺ¨λΈμ€ μ—¬λŸ¬ μ’…λ₯˜μ˜ 작음 μ‘°κ±΄μ—μ„œ μΌλ°˜ν™” μ„±λŠ₯이 μš°μˆ˜ν•¨μ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
(ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제) λ‹€μ–‘ν•œ μ–Έμ–΄ 및 감정 데이터셋에 λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•˜λ©°, MoE λΌμš°νŒ… λ©”μ»€λ‹ˆμ¦˜μ˜ λ³΅μž‘μ„±μ„ 쀄이기 μœ„ν•œ 연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage