Sign In

Relational In-Context Learning via Synthetic Pre-training with Structural Prior

Created by
  • Haebom
Category
Empty

์ €์ž

Yanbo Wang, Jiaxuan You, Chuan Shi, Muhan Zhang

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ํ…์ŠคํŠธ ๋ฐ ๋น„์ „ ๋ถ„์•ผ์™€ ๋‹ฌ๋ฆฌ ๋ถ€์กฑํ•˜๊ณ  ์‚ฌ์ ์ธ ํŠน์„ฑ์„ ๊ฐ€์ง„ ๊ด€๊ณ„ํ˜• ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค(RDB)๋ฅผ ์œ„ํ•œ ์ตœ์ดˆ์˜ ๊ด€๊ณ„ํ˜• ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์ธ RDB-PFN์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๋ถ€์กฑ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๊ตฌ์กฐ์  ์ธ๊ณผ ๋ชจ๋ธ(SCM)์—์„œ ์ƒ์„ฑ๋œ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•œ ๊ตฌ์กฐ์  ์‚ฌ์ „ ์ƒ์„ฑ๊ธฐ๋ฅผ ํ†ตํ•ด RDB-PFN์€ 2๋ฐฑ๋งŒ ๊ฐœ ์ด์ƒ์˜ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๋ฅผ ์ด์šฉํ•˜์—ฌ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด RDB-PFN์€ ๋‹ค์–‘ํ•œ RDB ์ž‘์—…์— ๋Œ€ํ•ด ์ฆ‰๊ฐ์ ์œผ๋กœ ์ ์‘ํ•˜๋ฉฐ, ์‹ค์ œ 19๊ฐœ ๊ด€๊ณ„ํ˜• ์˜ˆ์ธก ์ž‘์—…์—์„œ ๊ทธ๋ž˜ํ”„ ๊ธฐ๋ฐ˜ ๋ฐ ๋‹จ์ผ ํ…Œ์ด๋ธ” ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๋ณด๋‹ค ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๊ด€๊ณ„ํ˜• ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ์œ„ํ•œ ์ตœ์ดˆ์˜ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜ ์‚ฌ์ „ ํ•™์Šต ๋ชจ๋ธ ์ œ์‹œ: ํฌ์†Œํ•˜๊ณ  ์‚ฌ์ ์ธ RDB ๋ฐ์ดํ„ฐ์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ  ๋ฒ”์šฉ์ ์ธ RDB ์ดํ•ด ๋ฐ ์˜ˆ์ธก ๋ชจ๋ธ ๊ฐœ๋ฐœ ๊ฐ€๋Šฅ์„ฑ์„ ์—ด์—ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์ธ์ปจํ…์ŠคํŠธ ํ•™์Šต์„ ํ†ตํ•œ ๋น ๋ฅธ ์ ์‘๋ ฅ: ์‚ฌ์ „ ํ•™์Šต๋œ ๋ชจ๋ธ์ด ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ๋Œ€ํ•ด ๋ณ„๋„์˜ fine-tuning ์—†์ด๋„ ์ฆ‰๊ฐ์ ์œผ๋กœ ์„ฑ๋Šฅ์„ ๋ฐœํœ˜ํ•  ์ˆ˜ ์žˆ์Œ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
๊ฒฝ๋Ÿ‰ ์•„ํ‚คํ…์ฒ˜ ๋ฐ ๋น ๋ฅธ ์ถ”๋ก : ํšจ์œจ์ ์ธ ๋ชจ๋ธ ๊ตฌ์กฐ๋ฅผ ํ†ตํ•ด ์‹ค์ œ ์„œ๋น„์Šค ์ ์šฉ ๊ฐ€๋Šฅ์„ฑ์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.
โ€ข
ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ์˜ ํ’ˆ์งˆ ๋ฐ ๋‹ค์–‘์„ฑ: ์ƒ์„ฑ๋œ ํ•ฉ์„ฑ ๋ฐ์ดํ„ฐ๊ฐ€ ์‹ค์ œ RDB์˜ ๋ณต์žก์„ฑ๊ณผ ๋‹ค์–‘์„ฑ์„ ์–ผ๋งˆ๋‚˜ ์ž˜ ๋ฐ˜์˜ํ•˜๋Š”์ง€์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์ด ํ•„์š”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘