Sign In

Tamaththul3D: High-Fidelity 3D Saudi Sign Language Avatars from Monocular Video

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Eyad Alghamdi, Sattam Altuuaim, Obay Ghulam, Abdulrahman Qutah, Yousef Basoodan

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” μ „ 세계 4μ–΅ λͺ…μ˜ μ•„λžμ–΄ μ‚¬μš©μžκ°€ μ΄μš©ν•˜λŠ” μ•„λž μˆ˜μ–΄(ArSL) 및 κ·Έ 방언에 λŒ€ν•œ κ³ ν’ˆμ§ˆ 3D νŒŒλΌλ©”νŠΈλ¦­ μ–΄λ…Έν…Œμ΄μ…˜κ³Ό νŠΉν™”λœ 아바타 생성 λ°©λ²•λ‘ μ˜ λΆ€μž¬ 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ μ‚¬μš°λ”” μˆ˜ν™” μ–Έμ–΄ 데이터셋인 Ishara-500에 λŒ€ν•œ 졜초의 κ³ ν’ˆμ§ˆ 3D νŒŒλΌλ©”νŠΈλ¦­ μ–΄λ…Έν…Œμ΄μ…˜μ„ κ΅¬μΆ•ν•˜κ³ , ArSL의 λ…νŠΉν•œ κ΄€μ ˆ νŒ¨ν„΄μ— νŠΉν™”λœ Tamaththul3D μž¬κ΅¬μ„± νŒŒμ΄ν”„λΌμΈμ„ μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ•„λž μˆ˜μ–΄(ArSL)에 λŒ€ν•œ 졜초의 κ³ ν’ˆμ§ˆ 3D νŒŒλΌλ©”νŠΈλ¦­ μ–΄λ…Έν…Œμ΄μ…˜ ꡬ좕을 톡해 κ΄€λ ¨ μ—°κ΅¬μ˜ κΈ°λ°˜μ„ λ§ˆλ ¨ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ArSL의 λ³΅μž‘ν•œ 손 μ›€μ§μž„μ„ μ •ν™•ν•˜κ²Œ μž¬ν˜„ν•˜λŠ” Tamaththul3D νŒŒμ΄ν”„λΌμΈμ„ κ°œλ°œν•˜μ—¬ 이전 방법 λŒ€λΉ„ 손 정확도λ₯Ό 32% ν–₯μƒμ‹œν‚€λŠ” μ„±κ³Όλ₯Ό λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬λŠ” μ•„λž 청각 μž₯애인 곡동체λ₯Ό μœ„ν•œ μƒˆλ‘œμš΄ μ ‘κ·Όμ„± 기술 개발 및 λ¬Έν™” 보쑴 λ…Έλ ₯에 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
단일 μ˜μƒ(monocular video)λ§Œμ„ μ‚¬μš©ν•˜μ—¬ 3D 아바타λ₯Ό μž¬κ΅¬μ„±ν•˜λ―€λ‘œ, λ³΅μž‘ν•œ λ°°κ²½μ΄λ‚˜ μ‘°λͺ… μ‘°κ±΄μ—μ„œλŠ” μ„±λŠ₯ μ €ν•˜κ°€ λ°œμƒν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘