Daily Arxiv

์ „ ์„ธ๊ณ„์—์„œ ๋ฐœ๊ฐ„๋˜๋Š” ์ธ๊ณต์ง€๋Šฅ ๊ด€๋ จ ๋…ผ๋ฌธ์„ ์ •๋ฆฌํ•˜๋Š” ํŽ˜์ด์ง€ ์ž…๋‹ˆ๋‹ค.
๋ณธ ํŽ˜์ด์ง€๋Š” Google Gemini๋ฅผ ํ™œ์šฉํ•ด ์š”์•ฝ ์ •๋ฆฌํ•˜๋ฉฐ, ๋น„์˜๋ฆฌ๋กœ ์šด์˜ ๋ฉ๋‹ˆ๋‹ค.
๋…ผ๋ฌธ์— ๋Œ€ํ•œ ์ €์ž‘๊ถŒ์€ ์ €์ž ๋ฐ ํ•ด๋‹น ๊ธฐ๊ด€์— ์žˆ์œผ๋ฉฐ, ๊ณต์œ  ์‹œ ์ถœ์ฒ˜๋งŒ ๋ช…๊ธฐํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

Uncovering Grounding IDs: How External Cues Shape Multimodal Binding

Created by
  • Haebom
Category
Empty

์ €์ž

Hosein Hasani, Amirmohammad Izadi, Fatemeh Askari, Mobin Bagherian, Sadegh Mohammadian, Mohammad Izadi, Mahdieh Soleymani Baghshah

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์‹œ๊ฐ-์–ธ์–ด ๋ชจ๋ธ(LVLMs)์˜ ๊ตฌ์กฐ์  ์ถ”๋ก  ๋ฐ ์ •ํ™•ํ•œ ๊ฐ์ฒด ์—ฐ๊ฒฐ(grounding) ๋Šฅ๋ ฅ์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•ด, ์™ธ๋ถ€ ๋‹จ์„œ(cue)๊ฐ€ ์–ด๋–ป๊ฒŒ ๋‹ค์ค‘ ๋ชจ๋‹ฌ ์—ฐ๊ฒฐ์„ ํ˜•์„ฑํ•˜๋Š”์ง€ ์—ฐ๊ตฌํ•ฉ๋‹ˆ๋‹ค. ์—ฐ๊ตฌ์ง„์€ ์™ธ๋ถ€ ๋‹จ์„œ์— ์˜ํ•ด ์œ ๋„๋˜๋Š” ์ž ์žฌ ์‹๋ณ„์ž, ์ฆ‰ Grounding IDs ๊ฐœ๋…์„ ์ œ์•ˆํ•˜๊ณ , ์ด๋ฅผ ํ†ตํ•ด ์ด๋ฏธ์ง€์™€ ํ…์ŠคํŠธ ๊ฐ„์˜ ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ ๊ฒฉ์ฐจ๋ฅผ ์ค„์ด๊ณ  ๊ฐ์ฒด์™€ ๊ธฐํ˜ธ ๋‹จ์„œ ๊ฐ„์˜ ์—ฐ๊ฒฐ์„ ๊ฐ•ํ™”ํ•จ์„ ๋ฐํ˜€๋ƒˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์ ์œผ๋กœ Grounding IDs๋Š” ์—ฐ๊ด€๋œ ๊ตฌ์„ฑ ์š”์†Œ ๊ฐ„์˜ ์ฃผ์˜๋ฅผ ๊ฐ•ํ™”ํ•˜์—ฌ ์ƒํ˜ธ ๋ชจ๋‹ฌ ๊ฐ์ฒด ์—ฐ๊ฒฐ์„ ๊ฐœ์„ ํ•˜๊ณ  ํ™˜๊ฐ ํ˜„์ƒ์„ ์ค„์ด๋Š” ๋ฐ ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
Grounding IDs๋Š” ์™ธ๋ถ€ ๋‹จ์„œ๊ฐ€ ๋‹ค์ค‘ ๋ชจ๋‹ฌ ์—ฐ๊ฒฐ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ํ•ต์‹ฌ์ ์ธ ๊ธฐํ˜ธ ๋ฉ”์ปค๋‹ˆ์ฆ˜์ž„์„ ๋ฐํ˜€ ๋ชจ๋ธ์˜ ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ์„ ๋†’์˜€๋‹ค.
โ€ข
Grounding IDs๋ฅผ ํ†ตํ•ด ๊ฐ์ฒด ์—ฐ๊ฒฐ์„ ๊ฐ•ํ™”ํ•จ์œผ๋กœ์จ LVLMs์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ์‹ค์งˆ์ ์ธ ๊ฐœ์„ ์„ ์ œ์‹œํ–ˆ๋‹ค.
โ€ข
๋ณธ ์—ฐ๊ตฌ๋Š” Grounding IDs์˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์‹ฌ์ธต์ ์œผ๋กœ ๋ถ„์„ํ–ˆ์ง€๋งŒ, ๋‹ค์–‘ํ•œ ์œ ํ˜•์˜ ์™ธ๋ถ€ ๋‹จ์„œ์— ๋Œ€ํ•œ ์ผ๋ฐ˜ํ™” ๊ฐ€๋Šฅ์„ฑ์€ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•˜๋‹ค.
๐Ÿ‘