Sign In

Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Bo Bai

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ LLM์˜ ์ด๋ก ์  ๊ธฐ๋ฐ˜์ด ๋ถ€์กฑํ•˜๋‹ค๋Š” ๋ฌธ์ œ์˜์‹ ํ•˜์—, ๊ณ ์ „์  BIT(Bit)๋ฅผ ์˜๋ฏธ๋ฅผ ๊ฐ€์ง„ TOKEN(ํ† ํฐ)์œผ๋กœ ๋Œ€์ฒดํ•˜๋Š” '์˜๋ฏธ๋ก ์  ์ •๋ณด ์ด๋ก '์„ ์ œ์•ˆํ•œ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด LLM์˜ ์–ดํ…์…˜ ๋ฐ ํŠธ๋žœ์Šคํฌ๋จธ ๊ตฌ์กฐ๋ฅผ ์—๋„ˆ์ง€ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๋กœ ์žฌํ•ด์„ํ•˜๊ณ , ์ž„๋ฒ ๋”ฉ์„ ์˜๋ฏธ๋ก ์  ๋‹ค์–‘์ฒด ์ƒ์˜ ๋ฒกํ„ฐํ™”๋กœ ์„ค๋ช…ํ•œ๋‹ค. ๋˜ํ•œ, LLM์„ ํ”ผ๋“œ๋ฐฑ์ด ์žˆ๋Š” ์ƒํƒœ ์ฑ„๋„๋กœ ๋ชจ๋ธ๋งํ•˜์—ฌ ๋ฐฉํ–ฅ์„ฑ ์ •๋ณด ์ด๋ก ์„ ์ ์šฉ, ์‚ฌ์ „ ํ•™์Šต ๋ฐ ๊ฐ•ํ™” ํ•™์Šต ํ›„ ํ•™์Šต์— ๋Œ€ํ•œ ์ƒˆ๋กœ์šด ์ด๋ก ์  ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ๊ตฌ์ถ•ํ•œ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
LLM์˜ ์ž‘๋™ ์›๋ฆฌ๋ฅผ BIT๊ฐ€ ์•„๋‹Œ TOKEN ์ค‘์‹ฌ์œผ๋กœ ์žฌํ•ด์„ํ•จ์œผ๋กœ์จ, ์˜๋ฏธ๋ก ์  ์ •๋ณด ์ด๋ก ์ด๋ผ๋Š” ์ƒˆ๋กœ์šด ๊ด€์ ์„ ์ œ์‹œํ•œ๋‹ค.
โ€ข
๋ฐฉํ–ฅ์„ฑ ์ •๋ณด ์ด๋ก ์„ ํ™œ์šฉํ•˜์—ฌ LLM์˜ ์‚ฌ์ „ ํ•™์Šต ๋ฐ ํ›„ํ•™์Šต ๊ณผ์ •์— ๋Œ€ํ•œ ์ด๋ก ์  ์ดํ•ด๋ฅผ ์‹ฌํ™”ํ•˜๊ณ , ์ถ”๋ก  ์‹œ ์˜๋ฏธ๋ก ์  ์ •๋ณด ํ๋ฆ„์„ ์„ค๋ช…ํ•˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์ œ๊ณตํ•œ๋‹ค.
โ€ข
์ฐจ์„ธ๋Œ€ AI ์‹œ๋Œ€์˜ ๋„๋ž˜๋ฅผ TOKEN ์ค‘์‹ฌ์œผ๋กœ ์˜ˆ์ธกํ•˜๋ฉฐ, LLM์˜ ์ธ๊ณผ ์ถ”๋ก  ๋Šฅ๋ ฅ์„ Pearl์˜ ์ธ๊ณผ๊ด€๊ณ„ ์‚ฌ๋‹ค๋ฆฌ์™€ ์—ฐ๊ด€ ์ง€์–ด ๋…ผ์˜ํ•œ๋‹ค.
โ€ข
์ œ์•ˆ๋œ ์ด๋ก ์ด ์‹คํ—˜์  ๊ฒ€์ฆ์„ ํ†ตํ•ด ์–ผ๋งˆ๋‚˜ ํšจ๊ณผ์ ์œผ๋กœ LLM์˜ ์‹ค์ œ ์„ฑ๋Šฅ ํ–ฅ์ƒ์— ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ๋Š”์ง€์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•˜๋‹ค.
๐Ÿ‘
Made with Slashpage