Sign In

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Yehudit Aperstein, Eden Moran, Alexander Apartsin

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ์‚ฌ๋žŒ๋“ค์ด ๊ฐœ์ธ์ ์ธ ๊ธฐ์–ต์„ ํšŒ์ƒํ•  ๋•Œ ์ง์ ‘์ ์ธ ์ด๋ฆ„ ๋Œ€์‹  ๋งฅ๋ฝ์  ๋‹จ์„œ๋ฅผ ํ†ตํ•ด ์‚ฌ๋žŒ, ์žฅ์†Œ, ์‚ฌ๊ฑด ๋“ฑ์„ ๊ฐ„์ ‘์ ์œผ๋กœ ์ง€์นญํ•˜๋Š” ๋ฌธ์ œ์— ์ฃผ๋ชฉํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ๋น„์—ฐ์†์ ์ธ ๊ตฌ์ ˆ์— ๋ถ„์‚ฐ๋œ ์ฆ๊ฑฐ๋กœ๋ถ€ํ„ฐ ๊ฐœ์ฒด๋ฅผ ์ถ”๋ก ํ•˜๋Š” 'IRC-Bench'๋ผ๋Š” ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. IRC-Bench๋Š” 1994๊ฐœ์˜ ์ „์‚ฌ๋ณธ๊ณผ 12,337๊ฐœ์˜ ์œ„ํ‚ค๋ฐ์ดํ„ฐ ์—ฐ๋™ ๊ฐœ์ฒด๋ฅผ ํฌํ•จํ•˜๋ฉฐ, QLoRA-์ ์‘ Llama 3.1 8B ๋ชจ๋ธ์ด ๊ฐœ๋ฐฉํ˜• ํ™˜๊ฒฝ์—์„œ ๊ฐ€์žฅ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋น„๊ตญ์ง€์ (Non-local) ๊ฐœ์ฒด ์ธ์‹์˜ ์ค‘์š”์„ฑ ๋ถ€๊ฐ: ๊ธฐ์กด ๊ฐœ์ฒด ์ธ์‹ ์—ฐ๊ตฌ๊ฐ€ ์ง€์—ญ์  ์–ธ๊ธ‰์— ์ง‘์ค‘ํ–ˆ๋˜ ๊ฒƒ๊ณผ ๋‹ฌ๋ฆฌ, ๋งฅ๋ฝ ์ „๋ฐ˜์— ๊ฑธ์ณ ๋ถ„์‚ฐ๋œ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํšŒ์ƒ ๋งฅ๋ฝ์—์„œ์˜ ๊ฐ„์ ‘์  ์ฐธ์กฐ ์ฒ˜๋ฆฌ ๋Šฅ๋ ฅ ํ–ฅ์ƒ: ์น˜๋ฃŒ, ๊ธฐ๋ก, ์‚ฌํšŒ์  ๋งฅ๋ฝ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ๊ฐœ์ธ์ ์ธ ํšŒ์ƒ ๊ธฐ๋ก์˜ ์ •๋ณด ์ถ”์ถœ ๋ฐ ์ดํ•ด ๋Šฅ๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐ ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
ํ–ฅํ›„ ์—ฐ๊ตฌ ๊ณผ์ œ: ์ œ์•ˆ๋œ ๋ฒค์น˜๋งˆํฌ์™€ ํ‰๊ฐ€ ๋ฐฉ๋ฒ•๋ก ์„ ๋ฐ”ํƒ•์œผ๋กœ, ๋‹ค์–‘ํ•œ AI ๋ชจ๋ธ๋“ค์ด ๋ณต์žกํ•˜๊ณ  ๋ถ„์‚ฐ๋œ ๋งฅ๋ฝ ์†์—์„œ ๊ฐœ์ฒด๋ฅผ ์ •ํ™•ํ•˜๊ฒŒ ์ธ์‹ํ•˜๋Š” ๋Šฅ๋ ฅ์˜ ์ถ”๊ฐ€์ ์ธ ํ–ฅ์ƒ ๋ฐ ์ผ๋ฐ˜ํ™” ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage