Sign In

ROVER: Routing Object-Centric Visual Evidence for Grounded Multi-Image Reasoning

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Guannan Lv, Ren Nie, Hongjian Dou, Tingting Gao

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๊ฐ์ฒด ์ค‘์‹ฌ ์‹œ๊ฐ์  ์ฆ๊ฑฐ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ๋ผ์šฐํŒ…ํ•˜์—ฌ ๋‹ค์ค‘ ์ด๋ฏธ์ง€ ๊ธฐ๋ฐ˜ ์ถ”๋ก ์„ ์ˆ˜ํ–‰ํ•˜๋Š” ROVER๋ผ๋Š” ๊ฒฝ๋Ÿ‰ํ™”๋œ ํ•™์Šต ๊ฐ€๋Šฅํ•œ ํ”Œ๋Ÿฌ๊ทธ์ธ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ROVER๋Š” ๊ฐ ๊ฐ์ฒด๋ณ„ ์ถ”๋ก  ์‹œ์ ์— ๋งž๋Š” ํ† ํฐ ํŠธ๋ผ์ดํ”Œ๋ ›์„ ์‚ฝ์ž…ํ•˜์—ฌ ํ˜„์žฌ ์ถ”๋ก  ์ปจํ…์ŠคํŠธ๋ฅผ ์ง‘๊ณ„ํ•˜๊ณ , ๊ฐ์ฒด ์ค‘์‹ฌ ์ฐจ๋ณ„์  ์–ดํ…์…˜์„ ํ†ตํ•ด ์ด๋ฏธ์ง€ ๋‚ด ๋‹จ์„œ๋ฅผ ์‹œ๊ฐ์  ์›Œํ‚น ๊ณต๊ฐ„์œผ๋กœ ์ฆ๋ฅ˜ํ•˜๋ฉฐ, ์ด ๊ณต๊ฐ„ ๋‚ด์—์„œ ๊ฐ์ฒด ๋ฐ ์ด๋ฏธ์ง€ ๊ฐ„์˜ ์ด๋ ฅ ๊ธฐ๋ฐ˜ ์ฆ๊ฑฐ๋ฅผ ๋ผ์šฐํŒ…ํ•˜๊ณ  ํ†ตํ•ฉํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๊ธฐ์กด MLLM์˜ ๊ฐ์ฒด ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹์ด ๊ฐ€์ง€๋Š” ์ „์ฒด ์žฅ๋ฉด ์ดํ•ด ์ €ํ•˜ ๋ฐ ๋””์ฝ”๋”ฉ ๋น„์šฉ ์ฆ๊ฐ€ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋ฉฐ, ํšจ์œจ์ ์ธ ์‹œ๊ฐ์  ์ฆ๊ฑฐ ๋ผ์šฐํŒ…์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
MM-GCoT ๋ฐ VideoEspresso ๋ฒค์น˜๋งˆํฌ์—์„œ ์„ฑ๋Šฅ ํ–ฅ์ƒ์„ ๋‹ฌ์„ฑํ–ˆ์œผ๋ฉฐ, ํŠนํžˆ VideoEspresso๋กœ ํ›ˆ๋ จ๋œ ๋ชจ๋ธ์€ ๋‹ค์–‘ํ•œ ๋ฒค์น˜๋งˆํฌ์—์„œ ์šฐ์ˆ˜ํ•œ ์ „์ด ํ•™์Šต ๋Šฅ๋ ฅ์„ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ ๋ฐฉ๋ฒ•๋ก ์˜ ์ ์šฉ ๋ฒ”์œ„๋ฅผ ๋” ๋„“์€ ๋ฒ”์œ„์˜ ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ํƒœ์Šคํฌ๋กœ ํ™•์žฅํ•˜๊ณ , ๋” ๋ณต์žกํ•œ ์‹œ๊ฐ์  ๊ด€๊ณ„ ๋ฐ ์ถ”๋ก ์„ ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๋„๋ก ๊ฐœ์„ ํ•˜๋Š” ๊ฒƒ์ด ํ–ฅํ›„ ๊ณผ์ œ๋กœ ๋‚จ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage