Sign In

Multimodal Cultural Heritage Knowledge Graph Extension with Language and Vision Models

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Yang Zhang, Nada Mimouni, Jean-Claude Moissinac, Fay\c{c}al Hamdi

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ํ…์ŠคํŠธ์™€ ์ด๋ฏธ์ง€ ์ •๋ณด๋ฅผ ํ†ตํ•ฉํ•˜๋Š” ๋‹ค์ค‘ ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ ๋ฌธํ™”์œ ์‚ฐ ์ง€์‹ ๊ทธ๋ž˜ํ”„(KG)์ธ WJoconde๋ฅผ ์ œ์•ˆํ•˜๋ฉฐ, ํ”„๋ž‘์Šค ๋ฌธํ™”์œ ์‚ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ๊ตฌ์ถ•๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ œ์•ˆ๋œ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” LLM๊ณผ VLM์„ ํ™œ์šฉํ•˜์—ฌ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ์ž๋™์œผ๋กœ ์ถ”์ถœํ•˜๊ณ  ๊ฒ€์ฆํ•จ์œผ๋กœ์จ KG๋ฅผ ํ™•์žฅํ•˜๋ฉฐ, ๋†’์€ ์‹ ๋ขฐ๋„๋กœ KG๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๊ฐ•ํ™”ํ•จ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค. ์—ฐ๊ตฌํŒ€์€ ๊ด€๋ จ ์ฝ”๋“œ, ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹, ์›๋ณธ ๋ฐ์ดํ„ฐ ๋ชจ๋‘๋ฅผ ๊ณต๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋ฌธํ™”์œ ์‚ฐ ๋ถ„์•ผ์˜ ๋‹ค์ค‘ ๋ชจ๋‹ฌ๋ฆฌํ‹ฐ ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ตฌ์ถ• ๋ฐ ํ™•์žฅ์˜ ํ•„์š”์„ฑ์„ ์ œ์‹œํ•˜๊ณ  ์‹ค์งˆ์ ์ธ ๋ฐฉ๋ฒ•๋ก ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
โ€ข
LLM๊ณผ VLM์„ ํ™œ์šฉํ•˜์—ฌ ๋น„์ •ํ˜• ๋ฌธํ™”์œ ์‚ฐ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์ถ”์ถœํ•˜๊ณ  ๊ฒ€์ฆํ•˜๋Š” ์ž๋™ํ™”๋œ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ํ†ตํ•ด KG ํ™•์žฅ์„ฑ์„ ๋†’์ž…๋‹ˆ๋‹ค.
โ€ข
ํ…์ŠคํŠธ์™€ ์ด๋ฏธ์ง€ ์ •๋ณด๋ฅผ ํ†ตํ•ฉํ•จ์œผ๋กœ์จ ๋ฌธํ™”์œ ์‚ฐ KG์˜ ์ •ํ™•์„ฑ๊ณผ ํ’๋ถ€ํ•จ์„ ํ–ฅ์ƒ์‹œํ‚ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ ๋ฐฉ๋ฒ•๋ก ์˜ ์ผ๋ฐ˜ํ™” ๊ฐ€๋Šฅ์„ฑ๊ณผ ๋‹ค๋ฅธ ๋ฌธํ™”๊ถŒ์˜ ๋ฌธํ™”์œ ์‚ฐ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์ ์šฉ ๋ฐ ์„ฑ๋Šฅ ๊ฒ€์ฆ์ด ํ–ฅํ›„ ๊ณผ์ œ๋กœ ๋‚จ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage