Sign In

EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Shuyu Zhang, Lingfeng Pan, Qicheng Wang, Yaqi Shi, Yueyang Tan, Ruyu Yan, Jiaqi Chen, Lixing Du, Lu Wang

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM) ์ถ”๋ก  ์†๋„ ํ–ฅ์ƒ์„ ์œ„ํ•œ ํˆฌ๊ธฐ์  ๋””์ฝ”๋”ฉ(speculative decoding)์˜ ๋ณ‘๋ชฉ ํ˜„์ƒ์ธ ์ถœ๋ ฅ ํˆฌ์˜ ๊ณ„์ธต ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ๋™์  ์–ดํœ˜ ๋ฐ ๋งค๊ฐœ๋ณ€์ˆ˜ ์ ์‘์„ ํ†ตํ•ด ๋“œ๋ž˜ํ”„ํŠธ ๋ชจ๋ธ์„ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๋ฐœ์ „์‹œํ‚ค๋Š” EvoSpec ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. EvoSpec์€ ์ปจํ…์ŠคํŠธ ๊ธฐ๋ฐ˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜๊ณผ ๊ฒฝ๋Ÿ‰ ์˜จ๋ผ์ธ ์ •๋ ฌ ์ „๋žต์„ ํ™œ์šฉํ•˜์—ฌ ์ „๋ฌธ ๋„๋ฉ”์ธ์—์„œ์˜ ์„ฑ๋Šฅ ์ €ํ•˜ ์—†์ด ๊ธฐ์กด ๋ฐฉ๋ฒ•๋ก ์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ  ํšจ์œจ์„ฑ์„ ๋†’์˜€์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋™์  ์ ์‘์„ ํ†ตํ•œ ํˆฌ๊ธฐ์  ๋””์ฝ”๋”ฉ ์„ฑ๋Šฅ ํ–ฅ์ƒ: EvoSpec์€ ๋„๋ฉ”์ธ ๋ณ€๊ฒฝ์ด๋‚˜ ์ฃผ์ œ ์ „ํ™˜ ์‹œ ๋ฐœ์ƒํ•˜๋Š” ๋™์  ๋ถ„ํฌ ๋ณ€ํ™”์— ์‹ค์‹œ๊ฐ„์œผ๋กœ ์ ์‘ํ•˜์—ฌ ํˆฌ๊ธฐ์  ๋””์ฝ”๋”ฉ์˜ ์ˆ˜์šฉ๋ฅ  ์ €ํ•˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํšจ์œจ์ ์ธ ์žฅ๊ธฐ ๋ฏธ์‚ฌ์šฉ ํ† ํฐ ์ฒ˜๋ฆฌ: ์˜๋ฏธ๋ก ์  ๋ฐ ํ†ต๊ณ„์  ์ธ๋ฑ์‹ฑ์„ ํ™œ์šฉํ•˜์—ฌ ํšจ์œจ์ ์œผ๋กœ ์žฅ๊ธฐ ๋ฏธ์‚ฌ์šฉ ํ† ํฐ์„ ๊ฒ€์ƒ‰ํ•จ์œผ๋กœ์จ, ๋“œ๋ž˜ํ”„ํŠธ ๋ชจ๋ธ์˜ ์˜ˆ์ธก ๋Šฅ๋ ฅ์„ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.
โ€ข
ํ•œ๊ณ„์ : ์ œ์•ˆ๋œ ๊ฒฝ๋Ÿ‰ ์˜จ๋ผ์ธ ์ •๋ ฌ ์ „๋žต์˜ ๊ฒฝ์šฐ, ๋งค์šฐ ๋ณต์žกํ•˜๊ฑฐ๋‚˜ ๊ธ‰๊ฒฉํ•œ ๋ถ„ํฌ ๋ณ€ํ™”๋ฅผ ๋ณด์ด๋Š” ๊ทน๋‹จ์ ์ธ ์ƒํ™ฉ์—์„œ๋Š” ์ถ”๊ฐ€์ ์ธ ์ตœ์ ํ™”๊ฐ€ ํ•„์š”ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‹ค์ œ ์„œ๋น„์Šค ํ™˜๊ฒฝ์—์„œ์˜ ๋Œ€๊ทœ๋ชจ ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•œ ์ถ”๊ฐ€ ๊ฒ€์ฆ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage