Sign In

KSDiff: Keyframe-Augmented Speech-Aware Dual-Path Diffusion for Facial Animation

Created by
  • Haebom
Category
Empty

μ €μž

Tianle Lyu, Junchuan Zhao, Ye Wang

πŸ’‘ κ°œμš”

κΈ°μ‘΄ μŒμ„± 기반 μ–Όκ΅΄ μ• λ‹ˆλ©”μ΄μ…˜ μ—°κ΅¬μ˜ ν•œκ³„μ μΈ μŒμ„± νŠΉμ§•μ˜ 단일 ν‘œν˜„ 방식과 동적 μ›€μ§μž„μ΄ 큰 ν‚€ν”„λ ˆμž„μ˜ μ€‘μš”μ„± κ°„κ³Ό 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, KSDiffλŠ” μŒμ„± νŠΉμ§•μ„ ν‘œμ • 및 머리 μžμ„Έ κ΄€λ ¨ μ •λ³΄λ‘œ λΆ„λ¦¬ν•˜λŠ” 이쀑 경둜 μŒμ„± 인코더와 μ€‘μš”ν•œ μ›€μ§μž„μ΄ λ°œμƒν•˜λŠ” ν‚€ν”„λ ˆμž„μ„ μ˜ˆμΈ‘ν•˜λŠ” λͺ¨λ“ˆμ„ ν†΅ν•©ν•œ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 μž…μˆ  동기화 정확도와 머리 μžμ„Έ μžμ—°μ„±μ„ λ™μ‹œμ— ν–₯μƒμ‹œν‚€λŠ” μ΅œμ²¨λ‹¨ 결과와 ν•¨κ»˜ 사싀적인 μ–Όκ΅΄ μ• λ‹ˆλ©”μ΄μ…˜μ„ μƒμ„±ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μŒμ„± νŠΉμ§•μ„ ν‘œμ • 및 머리 μžμ„Έλ‘œ λΆ„λ¦¬ν•˜μ—¬ 각기 λ‹€λ₯Έ μ–Όκ΅΄ μ›€μ§μž„μ„ 더 μ •κ΅ν•˜κ²Œ μ œμ–΄ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
동적 μ›€μ§μž„μ΄ 큰 ν‚€ν”„λ ˆμž„μ„ λͺ…μ‹œμ μœΌλ‘œ λͺ¨λΈλ§ν•˜μ—¬ μ• λ‹ˆλ©”μ΄μ…˜μ˜ μžμ—°μŠ€λŸ¬μ›€κ³Ό ν˜„μ‹€κ°μ„ λ†’μž…λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬μ—μ„œ μ œμ•ˆλœ λ°©λ²•λ‘ μ˜ μΌλ°˜ν™” κ°€λŠ₯μ„± 및 λ‹€μ–‘ν•œ λ°μ΄ν„°μ…‹μ—μ„œμ˜ μ„±λŠ₯ 검증이 μΆ”κ°€μ μœΌλ‘œ ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage