Sign In

PRISM: Prompt Reliability via Iterative Simulation and Monitoring for Enterprise Conversational AI

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Keshava Chaitanya, Jahnavi Gundakaram

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๊ธฐ์—… ํ™˜๊ฒฝ์—์„œ LLM ๊ธฐ๋ฐ˜ ๋Œ€ํ™”ํ˜• AI์˜ ์•ˆ์ •์ ์ธ ๋ฐฐํฌ๋ฅผ ์œ„ํ•ด, ์ดˆ๊ธฐ ์„ค๊ณ„๋ฟ๋งŒ ์•„๋‹ˆ๋ผ LLM์˜ ๋น„๊ฒฐ์ •์ ์ธ ํ–‰๋™ ๋ณ€ํ™”๋กœ ์ธํ•œ ์„ฑ๋Šฅ ์ €ํ•˜์—๋„ ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ๋Š” "PRISM" ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. PRISM์€ ์š”๊ตฌ์‚ฌํ•ญ์œผ๋กœ๋ถ€ํ„ฐ ํ…Œ์ŠคํŠธ ์ผ€์ด์Šค๋ฅผ ์ƒ์„ฑํ•˜๊ณ , LLM ํ™˜๊ฒฝ์—์„œ ๋Œ€ํ™”๋ฅผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•˜๋ฉฐ, LLM์„ ํŒ์‚ฌ๋กœ ์‚ฌ์šฉํ•˜์—ฌ ํ‰๊ฐ€ํ•˜๊ณ , ์‹คํŒจ ์›์ธ์„ ์ง„๋‹จํ•˜์—ฌ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๋Š” ์ˆœํ™˜์ ์ธ ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ํ”„๋กฌํ”„ํŠธ ์ž‘์„ฑ ์‹œ๊ฐ„์„ ๋Œ€ํญ ๋‹จ์ถ•ํ•˜๊ณ  ๋†’์€ ์ˆ˜์ค€์˜ ํ”„๋กœ๋•์…˜ ์•ˆ์ •์„ฑ์„ ๋‹ฌ์„ฑํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์ง€์†์ ์ธ ํ”„๋กฌํ”„ํŠธ ์‹ ๋ขฐ์„ฑ ํ™•๋ณด์˜ ์ค‘์š”์„ฑ: PRISM์€ ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์„ ์ผํšŒ์„ฑ ์ž‘์—…์ด ์•„๋‹Œ ์ง€์†์ ์ธ ์‹ ๋ขฐ์„ฑ ์—”์ง€๋‹ˆ์–ด๋ง ๋ฌธ์ œ๋กœ ๋‹ค๋ฃจ์–ด, LLM์˜ ํ–‰๋™ ๋ณ€ํ™”์— ๋Šฅ๋™์ ์œผ๋กœ ๋Œ€์ฒ˜ํ•  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
์ž๋™ํ™”๋œ ํ…Œ์ŠคํŠธ ๋ฐ ๋ณต๊ตฌ์˜ ํšจ์œจ์„ฑ: ์š”๊ตฌ์‚ฌํ•ญ ๊ธฐ๋ฐ˜ ํ…Œ์ŠคํŠธ ์ผ€์ด์Šค ์ž๋™ ์ƒ์„ฑ, LLM ๊ธฐ๋ฐ˜ ํ‰๊ฐ€ ๋ฐ ์ž๋™ ๋ณต๊ตฌ ๊ธฐ๋Šฅ์€ ํ”„๋กฌํ”„ํŠธ ๊ฐœ๋ฐœ ๋ฐ ์œ ์ง€๋ณด์ˆ˜ ๋น„์šฉ์„ ํš๊ธฐ์ ์œผ๋กœ ์ ˆ๊ฐํ•ฉ๋‹ˆ๋‹ค.
โ€ข
LLM ํ–‰๋™ ๋ณ€ํ™” ํƒ์ง€ ๋ฐ ๋ณต๊ตฌ์˜ ์‹คํšจ์„ฑ: ์‹ค์ œ ๋ฐฐํฌ ํ™˜๊ฒฝ์—์„œ LLM ํ–‰๋™ ๋ณ€ํ™”๋กœ ์ธํ•œ ๋ฌธ์ œ๋ฅผ 24์‹œ๊ฐ„ ๋‚ด์— ์„ฑ๊ณต์ ์œผ๋กœ ํƒ์ง€ํ•˜๊ณ  ๋ณต๊ตฌํ•จ์œผ๋กœ์จ, ์‹ค์‹œ๊ฐ„ ์šด์˜ ํ™˜๊ฒฝ์—์„œ์˜ ์‹ ๋ขฐ์„ฑ ํ™•๋ณด ๊ฐ€๋Šฅ์„ฑ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
ํŠน์ • ํ”Œ๋žซํผ ์˜์กด์„ฑ ๋ฐ ์ผ๋ฐ˜ํ™” ๊ฐ€๋Šฅ์„ฑ: ์ œ์•ˆ๋œ PRISM ํ”„๋ ˆ์ž„์›Œํฌ์˜ ์„ฑ๋Šฅ์ด Yellow.ai V3 ํ”Œ๋žซํผ์—์„œ ํ‰๊ฐ€๋˜์—ˆ์œผ๋ฏ€๋กœ, ๋‹ค๋ฅธ LLM ๋ฐ ํ”Œ๋žซํผ ํ™˜๊ฒฝ์—์„œ์˜ ์ผ๋ฐ˜ํ™” ๊ฐ€๋Šฅ์„ฑ์— ๋Œ€ํ•œ ์ถ”๊ฐ€ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage