Sign In

TIDE: Every Layer Knows the Token Beneath the Context

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Mehrdad Farajtabar, Minsik Cho

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๊ธฐ์กด LLM์˜ ํ† ํฐ ์ž„๋ฒ ๋”ฉ ๋ฐฉ์‹์ด ํฌ๊ท€ ํ† ํฐ ํ•™์Šต ๋ถ€์กฑ ๋ฐ ๋ฌธ๋งฅ ์ •๋ณด ๋ถ€์กฑ ๋ฌธ์ œ๋ฅผ ์•ผ๊ธฐํ•œ๋‹ค๋Š” ์ ์„ ์ง€์ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ๊ฐ ๋ ˆ์ด์–ด๋งˆ๋‹ค ํ† ํฐ ์ธ๋ฑ์Šค๋ฅผ ๋ฌธ๋งฅ ์ •๋ณด๋ฅผ ๋‹ด์€ ์ž„๋ฒ ๋”ฉ ๋ฒกํ„ฐ๋กœ ๋งคํ•‘ํ•˜๋Š” TIDE(Token Index-to-Embedding)๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. TIDE๋Š” ์‹คํ—˜์„ ํ†ตํ•ด ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๊ณ  ๋‹ค์–‘ํ•œ ์–ธ์–ด ๋ชจ๋ธ๋ง ๋ฐ ๋‹ค์šด์ŠคํŠธ๋ฆผ ํƒœ์Šคํฌ์—์„œ ์šฐ์ˆ˜ํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋ชจ๋“  ๋ ˆ์ด์–ด์—์„œ ํ† ํฐ์˜ ๋ฌธ๋งฅ ์ •๋ณด๋ฅผ ์œ ์ง€ํ•˜๊ณ  ํ™œ์šฉํ•จ์œผ๋กœ์จ ํฌ๊ท€ ํ† ํฐ ํ•™์Šต ๋ถ€์กฑ ๋ฐ ๋ฌธ๋งฅ ์ •๋ณด ๋ถ€์กฑ ๋ฌธ์ œ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ TIDE ๊ตฌ์กฐ๋Š” ๊ธฐ์กด ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์— ์‰ฝ๊ฒŒ ํ†ตํ•ฉ๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ ํ–ฅ์ƒ์— ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
TIDE์˜ ์ถ”๊ฐ€์ ์ธ ๋ฉ”๋ชจ๋ฆฌ ๋ธ”๋ก๊ณผ ๋ผ์šฐํŒ… ๋ฉ”์ปค๋‹ˆ์ฆ˜์œผ๋กœ ์ธํ•ด ๋ชจ๋ธ์˜ ๋ณต์žก์„ฑ๊ณผ ๊ณ„์‚ฐ ๋น„์šฉ์ด ์ฆ๊ฐ€ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage