Sign In

OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Maomao Li, Zhen Li, Kaipeng Zhang, Guosheng Yin, Zhifeng Li, Dong Xu

πŸ’‘ κ°œμš”

λ³Έ 논문은 기쑴의 μ˜μƒ 맞좀 μƒμ„±μ—μ„œ λ‚˜μ•„κ°€, μ°Έμ‘° μ΄λ―Έμ§€μ˜ μ–Όκ΅΄ νŠΉμ§•κ³Ό μ°Έμ‘° μ˜€λ””μ˜€μ˜ μŒμƒ‰μ„ λ™μ‹œμ— μœ μ§€ν•˜λ©΄μ„œ μ‚¬μš©μžκ°€ μ›ν•˜λŠ” ν…μŠ€νŠΈ λ‚΄μš©μœΌλ‘œ μ˜μƒκ³Ό μŒμ„±μ„ μƒμ„±ν•˜λŠ” μƒˆλ‘œμš΄ 동기화 μ˜€λ””μ˜€-λΉ„λ””μ˜€ 맞좀 생성(sync audio-video customization) μž‘μ—…μ„ μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ OmniCustomμ΄λΌλŠ” DiT 기반 ν”„λ ˆμž„μ›Œν¬λ₯Ό κ°œλ°œν•˜μ—¬, μ°Έμ‘° 이미지, μ°Έμ‘° μ˜€λ””μ˜€, ν…μŠ€νŠΈ ν”„λ‘¬ν”„νŠΈλ₯Ό λͺ¨λ‘ μ œλ‘œμƒ·μœΌλ‘œ μž…λ ₯λ°›μ•„ κ³ ν’ˆμ§ˆμ˜ 결과물을 생성할 수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ°Έμ‘° μ΄λ―Έμ§€μ˜ 신원(identity)κ³Ό μ°Έμ‘° μ˜€λ””μ˜€μ˜ μŒμƒ‰(timbre)을 λ™μ‹œμ— μ œμ–΄ν•˜μ—¬ λ”μš± 사싀적인 맞좀 μ˜μƒ 생성이 κ°€λŠ₯ν•΄μ‘ŒμŠ΅λ‹ˆλ‹€.
β€’
LoRA λͺ¨λ“ˆμ„ ν™œμš©ν•˜μ—¬ κΈ°μ‘΄ μ˜€λ””μ˜€-λΉ„λ””μ˜€ 생성 λͺ¨λΈμ— λŒ€ν•œ 신원 및 μŒμƒ‰ μ œμ–΄ κΈ°λŠ₯을 효율적으둜 ν†΅ν•©ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
λŒ€κ·œλͺ¨ κ³ ν’ˆμ§ˆ μ˜€λ””μ˜€-λΉ„μ£Όμ–Ό 인간 데이터셋 ꡬ좕 및 이λ₯Ό ν™œμš©ν•œ ν•™μŠ΅μ΄ λ°©λ²•λ‘ μ˜ 성곡에 κΈ°μ—¬ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
ν˜„μž¬λŠ” 신원 및 μŒμƒ‰ μ œμ–΄μ— μ΄ˆμ μ„ λ§žμΆ”κ³  μžˆμœΌλ‚˜, ν–₯ν›„ λ‹€μ–‘ν•œ 감정 ν‘œν˜„μ΄λ‚˜ λ³΅μž‘ν•œ 동기화 μ œμ–΄ κΈ°λŠ₯으둜 ν™•μž₯될 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage