Sign In

Decoupling Endpoint and Semantic Transition Learning for Zero-Shot Composed Image Retrieval

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Mingyu Liu, Sihan Huang, Yijia Fan, Yinlin Yan, Quan Zhang, Jian-Fang Hu, Jianhuang Lai

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ํ…์ŠคํŠธ ์ˆ˜์ •์— ๋”ฐ๋ผ ์ฐธ์กฐ ์ด๋ฏธ์ง€์™€ ์ผ์น˜ํ•˜๋Š” ์ด๋ฏธ์ง€๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋Š” ์ œ๋กœ์ƒท ๋ณตํ•ฉ ์ด๋ฏธ์ง€ ๊ฒ€์ƒ‰(ZS-CIR) ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ๊ธฐ์กด ํˆฌ์˜ ๊ธฐ๋ฐ˜ ๋ฐฉ์‹์€ LLM์— ์˜์กดํ•˜์ง€ ์•Š์•„ ๊ฐ€๋ณ์ง€๋งŒ ๋ณต์žกํ•œ ์˜๋ฏธ ์ˆ˜์ •์— ์ทจ์•ฝํ•œ ๋ฌธ์ œ๋ฅผ ๋ณด์˜€์Šต๋‹ˆ๋‹ค. ์ด๋Š” ํŽธ์ง‘ ํ…์ŠคํŠธ๊ฐ€ ์†Œ์Šค ์กฐ๊ฑด๋ถ€ ์˜๋ฏธ ์ „ํ™˜์œผ๋กœ ๊ธฐ๋Šฅํ•˜๊ธฐ๋ณด๋‹ค ๋Œ€์ƒ ์ธก ์†์„ฑ ํ๋กœ ์ž‘์šฉํ•˜๋Š” ์—”๋“œํฌ์ธํŠธ ์ˆ˜์ค€์˜ ๋งค์นญ์—์„œ ๋ฐœ์ƒํ•˜๋Š” ์˜๋ฏธ ์ „ํ™˜ ๋ณ‘๋ชฉ ํ˜„์ƒ ๋•Œ๋ฌธ์ด๋ฉฐ, ์ œ์•ˆํ•˜๋Š” DeCIR ๋ฐฉ๋ฒ•์€ ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ์—”๋“œํฌ์ธํŠธ ํ•™์Šต๊ณผ ์˜๋ฏธ ์ „ํ™˜ ํ•™์Šต์„ ๋ถ„๋ฆฌํ•˜์—ฌ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๊ธฐ์กด ํˆฌ์˜ ๊ธฐ๋ฐ˜ ZS-CIR ๋ฐฉ๋ฒ•๋ก ์˜ ์„ฑ๋Šฅ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ  LLM ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹๊ณผ์˜ ๊ฒฉ์ฐจ๋ฅผ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์—”๋“œํฌ์ธํŠธ์™€ ์˜๋ฏธ ์ „ํ™˜ ํ•™์Šต์„ ๋ช…์‹œ์ ์œผ๋กœ ๋ถ„๋ฆฌํ•˜๊ณ  ์ด๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ๊ฒฐํ•ฉํ•˜๋Š” DeCIR ๋ฐฉ๋ฒ•๋ก ์€ ZS-CIR ๋ถ„์•ผ์˜ ๋ฐœ์ „์— ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋…ผ๋ฌธ์—์„œ ์ œ์•ˆ๋œ ๋ถ„๋ฆฌ ๋ฐ ๋ณ‘ํ•ฉ ๊ธฐ๋ฒ•์ด ๋‹ค๋ฅธ ZS-CIR ์„ค์ •์ด๋‚˜ ๊ด€๋ จ ์ด๋ฏธ์ง€ ๊ฒ€์ƒ‰ ์ž‘์—…์— ์–ด๋–ป๊ฒŒ ์ ์šฉ๋  ์ˆ˜ ์žˆ๋Š”์ง€ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage