Sign In

Temporal Aware Pruning for Efficient Diffusion-based Video Generation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Sheng Li, Yang Sui, Junhao Ran, Bo Yuan, Yue Dai, Xulong Tang

πŸ’‘ κ°œμš”

λ³Έ 논문은 λΉ„λ””μ˜€ 생성 μ‹œ λ°œμƒν•˜λŠ” 계산 집약적인 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, ν”„λ ˆμž„ κ°„ μ‹œκ°„μ  일관성을 μœ μ§€ν•˜λ©΄μ„œ 효율적인 λΉ„λ””μ˜€ 생성을 μœ„ν•œ TAPEλΌλŠ” ν•™μŠ΅ μ—†λŠ”(training-free) μ‹œκ°„ 인식 토큰 κ°€μ§€μΉ˜κΈ° 기법을 μ œμ•ˆν•œλ‹€. TAPEλŠ” 인접 ν”„λ ˆμž„ κ°„ 토큰 μ€‘μš”λ„λ₯Ό μ •λ ¬ν•˜κ³ , 각 λ ˆμ΄μ–΄μ˜ 의미적 μ΄ˆμ μ„ κ³ λ €ν•˜μ—¬ 토큰 κ°€μ§€μΉ˜κΈ°λ₯Ό μˆ˜ν–‰ν•˜λ©°, 초기 λ…Έμ΄μ¦ˆ λ‹¨κ³„μ—μ„œλŠ” 곡격적으둜, ν›„λ°˜λΆ€ κ°œμ„  λ‹¨κ³„μ—μ„œλŠ” μ™„ν™”ν•˜μ—¬ κ°€μ§€μΉ˜κΈ° μ˜ˆμ‚°μ„ μ‘°μ ˆν•œλ‹€. μ‹€ν—˜ κ²°κ³Ό TAPEλŠ” κΈ°μ‘΄ 토큰 κ°μ†Œ 방법듀을 λŠ₯κ°€ν•˜λ©° 높은 μ‹œκ°μ  ν’ˆμ§ˆμ„ μœ μ§€ν•˜λ©΄μ„œ μƒλ‹Ήν•œ 속도 ν–₯상을 λ‹¬μ„±ν–ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λΉ„λ””μ˜€ μƒμ„±μ—μ„œ 토큰 κ°€μ§€μΉ˜κΈ°μ˜ 효과λ₯Ό ν”„λ ˆμž„ κ°„ μ‹œκ°„μ  μΌκ΄€μ„±μ΄λΌλŠ” μΈ‘λ©΄μ—μ„œ μƒˆλ‘­κ²Œ μ ‘κ·Όν•˜μ—¬, κΈ°μ‘΄ ν”„λ ˆμž„ λ‹¨μœ„ κ°€μ§€μΉ˜κΈ°μ˜ 단점을 극볡할 수 μžˆλŠ” 효과적인 λ°©μ•ˆμ„ μ œμ‹œν–ˆλ‹€.
β€’
ν•™μŠ΅ 없이 적용 κ°€λŠ₯ν•˜μ—¬ κΈ°μ‘΄ λΉ„λ””μ˜€ 생성 λͺ¨λΈμ— μ‰½κ²Œ 톡합될 수 있으며, λ‹€μ–‘ν•œ μ‹œκ°„ μŠ€μΌ€μ€„λ§ μ „λž΅μ„ 톡해 λͺ¨λΈμ˜ νš¨μœ¨μ„±κ³Ό 생성 ν’ˆμ§ˆ κ°„μ˜ κ· ν˜•μ„ μ΅œμ ν™”ν•  수 μžˆμŒμ„ 보여쀀닀.
β€’
μ œμ•ˆλœ TAPE 기법이 λͺ¨λ“  μ’…λ₯˜μ˜ λΉ„λ””μ˜€ 생성 λͺ¨λΈμ΄λ‚˜ λ‹€μ–‘ν•œ λ³΅μž‘μ„±μ„ κ°€μ§„ λΉ„λ””μ˜€μ— λŒ€ν•΄ μΌκ΄€μ μœΌλ‘œ 높은 μ„±λŠ₯을 보μž₯ν•˜λŠ”μ§€μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•  수 있으며, νŠΉμ • λ ˆμ΄μ–΄μ—μ„œμ˜ 토큰 μž¬μ„ νƒ 둜직의 μΌλ°˜ν™” κ°€λŠ₯성에 λŒ€ν•œ 연ꡬ가 더 ν•„μš”ν•˜λ‹€.
πŸ‘