Sign In

AsymTalker: Identity-Consistent Long-Term Talking Head Generation via Asymmetric Distillation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yuxin Lu, Qian Qiao, Jiayang Sun, Guibo Zhu, Min Cao

πŸ’‘ κ°œμš”

λ³Έ 논문은 μž₯기적인 κ³ ν’ˆμ§ˆμ˜ μ–Όκ΅΄ μ• λ‹ˆλ©”μ΄μ…˜ 생성에 μžˆμ–΄μ„œ λ°œμƒν•˜λŠ” μ‹œκ°„-곡간적 λΆˆμΌμΉ˜μ™€ 동일성 λ“œλ¦¬ν”„νŠΈ 문제λ₯Ό ν•΄κ²°ν•˜λŠ” AsymTalkerλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ 방법은 Temporal Reference Encoding (TRE)으둜 정적 μ΄λ―Έμ§€μ˜ μ‹œκ°„μ  일관성을 κ°•ν™”ν•˜κ³ , Asymmetric Knowledge Distillation (AKD)λ₯Ό 톡해 ν•™μŠ΅-μΆ”λ‘  뢈일치 없이 μž₯기적인 동일성 μœ μ§€λ₯Ό λ‹¬μ„±ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 600μ΄ˆμ— λ‹¬ν•˜λŠ” κΈ΄ μ˜μƒμ—μ„œλ„ 높은 좩싀도와 일관성을 μœ μ§€ν•˜λ©° μ‹€μ‹œκ°„μ— κ°€κΉŒμš΄ μ†λ„λ‘œ μ–Όκ΅΄ μ• λ‹ˆλ©”μ΄μ…˜μ„ μƒμ„±ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μž₯κΈ° μ˜μƒ 생성 μ‹œ λ°œμƒν•˜λŠ” μ‹œκ°„-곡간적 λΆˆμΌμΉ˜μ™€ 동일성 λ“œλ¦¬ν”„νŠΈ 문제λ₯Ό 효과적으둜 ν•΄κ²°ν•˜λŠ” μƒˆλ‘œμš΄ 접근법을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€.
β€’
Teacher-Student ꡬ쑰λ₯Ό ν™œμš©ν•œ λΉ„λŒ€μΉ­ 지식 증λ₯˜ 기법은 ν•™μŠ΅ 데이터 μ˜μ‘΄μ„±μ„ 쀄이고 μΆ”λ‘  μ„±λŠ₯을 λ†’μ΄λŠ” 데 κΈ°μ—¬ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
600μ΄ˆλΌλŠ” 맀우 κΈ΄ μ˜μƒμ—μ„œλ„ κ³ ν’ˆμ§ˆμ˜ 결과물을 μƒμ„±ν•˜λ©°, μ‹€μ‹œκ°„ μΆ”λ‘  속도(66 FPS)λ₯Ό λ‹¬μ„±ν•˜μ—¬ μ‹€μš©μ„±μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
(ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제) λ…Όλ¬Έμ—μ„œ μ œμ‹œλœ ASKD κΈ°λ²•μ˜ Teacher λͺ¨λΈ ν•™μŠ΅μ— μ—¬μ „νžˆ ground-truth 데이터가 ν•„μš”ν•˜λ©°, μ΄λŠ” λŒ€κ·œλͺ¨ 데이터셋 ꡬ좕 및 κ΄€λ¦¬μ˜ λΆ€λ‹΄μœΌλ‘œ μ΄μ–΄μ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage