Sign In

Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Ziyun Zeng, Yiqi Lin, Guoqiang Liang, Mike Zheng Shou

๐Ÿ’ก ๊ฐœ์š”

๊ธฐ์กด ์ž์—ฐ์–ด ์ง€์‹œ ๊ธฐ๋ฐ˜ ๋น„๋””์˜ค ํŽธ์ง‘ ์—ฐ๊ตฌ๊ฐ€ ์ฃผ๋กœ ๊ตญ์†Œ ํŽธ์ง‘์ด๋‚˜ ์Šคํƒ€์ผ ๋ณ€ํ™˜์— ์ง‘์ค‘๋˜์–ด ์žˆ์–ด, ์ฐฝ์˜์ ์ธ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์— ํ•„์ˆ˜์ ์ธ ๋ฐฐ๊ฒฝ ๊ต์ฒด ์ž‘์—…์€ ๋ฐ์ดํ„ฐ ๋ถ€์กฑ์œผ๋กœ ์ธํ•ด ์ œ๋Œ€๋กœ ํƒ๊ตฌ๋˜์ง€ ๋ชปํ–ˆ์Šต๋‹ˆ๋‹ค. ๋ณธ ๋…ผ๋ฌธ์€ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ์ ์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ์ •๋ฐ€ํ•œ ๋ฐฐ๊ฒฝ ๊ฐ€์ด๋“œ๋ผ์ธ์„ ์ƒ์„ฑํ•˜๋Š” ๋น„๊ฒฐํ•ฉ ๋ฐฉ์‹์˜ ๋ฐ์ดํ„ฐ ํ•ฉ์„ฑ ํŒŒ์ดํ”„๋ผ์ธ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์•ฝ 14๋งŒ ๊ฐœ์˜ ๋น„๋””์˜ค ์Œ์œผ๋กœ ๊ตฌ์„ฑ๋œ Sparkle ๋ฐ์ดํ„ฐ์…‹๊ณผ, ๋ฐฐ๊ฒฝ ๊ต์ฒด๋ฅผ ์œ„ํ•œ ์ตœ๋Œ€ ๊ทœ๋ชจ์˜ ํ‰๊ฐ€ ๋ฒค์น˜๋งˆํฌ์ธ Sparkle-Bench๋ฅผ ๊ตฌ์ถ•ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์ž์—ฐ์–ด ์ง€์‹œ์— ๋”ฐ๋ฅธ ๋น„๋””์˜ค ๋ฐฐ๊ฒฝ ๊ต์ฒด ์„ฑ๋Šฅ ํ–ฅ์ƒ์„ ์œ„ํ•œ ๋Œ€๊ทœ๋ชจ ๊ณ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹ ๋ฐ ํ‰๊ฐ€ ๋ฒค์น˜๋งˆํฌ ์ œ๊ณต.
โ€ข
์ •๋ฐ€ํ•œ ๋ฐฐ๊ฒฝ ๊ฐ€์ด๋“œ๋ผ์ธ ์ƒ์„ฑ์„ ์œ„ํ•œ ํšจ๊ณผ์ ์ธ ๋น„๊ฒฐํ•ฉ ๋ฐฉ์‹ ๋ฐ์ดํ„ฐ ํ•ฉ์„ฑ ๋ฐฉ๋ฒ•๋ก  ์ œ์‹œ.
โ€ข
์ œ์•ˆ๋œ ๋ฐ์ดํ„ฐ์…‹๊ณผ ๋ชจ๋ธ์„ ํ†ตํ•ด ๊ธฐ์กด ๋ฐฉ๋ฒ•๋ก  ๋Œ€๋น„ ์šฐ์ˆ˜ํ•œ ๋ฐฐ๊ฒฝ ๊ต์ฒด ์„ฑ๋Šฅ ๋‹ฌ์„ฑ.
โ€ข
ํ˜„์žฌ ๋ฐ์ดํ„ฐ์…‹์€ 5๊ฐ€์ง€ ์ผ๋ฐ˜์ ์ธ ๋ฐฐ๊ฒฝ ๊ต์ฒด ํ…Œ๋งˆ์— ๊ตญํ•œ๋˜์–ด ์žˆ์–ด, ๋” ๋‹ค์–‘ํ•œ ์ƒํ™ฉ์— ๋Œ€ํ•œ ์—ฐ๊ตฌ ํ•„์š”.
๐Ÿ‘
Made with Slashpage