haebom
Sign In

Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Marcel Wagenlander, Otto White, Britannio Jarrett, Pedro Silvestre, Yanda Tao, Guo Li, Huanzhou Zhu, Lluis Vilanova, Peter Pietzuch

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋ณต์žกํ•œ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ์—ฌ๋Ÿฌ LLM๊ณผ ๋„๊ตฌ๋ฅผ ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ํ•˜๋Š” ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ์šฐ์˜ ํšจ์œจ์ ์ธ ์„œ๋น™ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ์šฐ๋Š” ์˜ˆ์ธก ๋ถˆ๊ฐ€๋Šฅํ•œ ์‹คํ–‰ ์‹œ๊ฐ„๊ณผ GPU ์ž์› ๋ถ€์กฑ์œผ๋กœ ์ธํ•ด ๋‚ฎ์€ ์ง€์—ฐ ์‹œ๊ฐ„๊ณผ ๋†’์€ ์ฒ˜๋ฆฌ๋Ÿ‰์„ ๋‹ฌ์„ฑํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ์ด์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์œผ๋กœ, Scepsy๋Š” LLM ์‹คํ–‰ ์‹œ๊ฐ„์˜ ์ดํ•ฉ ์ ์œ ์œจ์ด ์‹คํ–‰๋งˆ๋‹ค ์•ˆ์ •์ ์ด๋ผ๋Š” ํ†ต์ฐฐ๋ ฅ์„ ํ™œ์šฉํ•˜์—ฌ GPU ํด๋Ÿฌ์Šคํ„ฐ์— ์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ์šฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ์Šค์ผ€์ค„๋งํ•˜๋Š” ์ƒˆ๋กœ์šด ์‹œ์Šคํ…œ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์—์ด์ „ํŠธ ์›Œํฌํ”Œ๋กœ์šฐ์˜ ์˜ˆ์ธก ๋ถˆ๊ฐ€๋Šฅํ•œ ํŠน์„ฑ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ๊ฐœ๋ณ„ LLM์˜ ์ด ์‹คํ–‰ ์‹œ๊ฐ„ ๋น„์œจ์„ ๊ธฐ๋ฐ˜์œผ๋กœ GPU ์ž์›์„ ๋™์ ์œผ๋กœ ํ• ๋‹นํ•˜๋Š” Scepsy์˜ ์ ‘๊ทผ ๋ฐฉ์‹์€ ํšจ์œจ์ ์ธ ์„œ๋น™์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
Scepsy๋Š” ๋ˆ„์  LLM ํŒŒ์ดํ”„๋ผ์ธ์„ ํ†ตํ•ด ์ง€์—ฐ ์‹œ๊ฐ„/์ฒ˜๋ฆฌ๋Ÿ‰ ์˜ˆ์ธก๊ธฐ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ , ํƒ์ƒ‰ ๊ณต๊ฐ„์„ ํšจ์œจ์ ์œผ๋กœ ํƒ์ƒ‰ํ•˜์—ฌ ์ตœ์ ์˜ GPU ํ• ๋‹น์„ ์ฐพ์•„๋ƒ„์œผ๋กœ์จ ๊ธฐ์กด ์‹œ์Šคํ…œ ๋Œ€๋น„ ์ƒ๋‹นํ•œ ์„ฑ๋Šฅ ํ–ฅ์ƒ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
๋ณธ ์—ฐ๊ตฌ๋Š” ๋‹ค์–‘ํ•œ ์—์ด์ „ํŠธ ํ”„๋ ˆ์ž„์›Œํฌ์™€ ์‹ค์ œ ์›Œํฌํ”Œ๋กœ์šฐ์— ๋Œ€ํ•œ ํ‰๊ฐ€๋ฅผ ํ†ตํ•ด Scepsy์˜ ์‹คํšจ์„ฑ์„ ์ž…์ฆํ–ˆ์œผ๋‚˜, ๋”์šฑ ๋ณต์žกํ•˜๊ฑฐ๋‚˜ ๋™์ ์œผ๋กœ ๋ณ€ํ™”ํ•˜๋Š” ์›Œํฌํ”Œ๋กœ์šฐ ํŒจํ„ด์— ๋Œ€ํ•œ ์ ์‘์„ฑ๊ณผ ํ™•์žฅ์„ฑ์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
PDF ๋ณด๊ธฐ
๐Ÿ‘
Made with Slashpage