Sign In

AgentLeak: A Full-Stack Benchmark for Privacy Leakage in Multi-Agent LLM Systems

Created by
  • Haebom
Category
Empty

์ €์ž

Faouzi El Yagoubi, Ranwa Al Mallah, Godwin Badu-Marfo

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ๋‹ค์ค‘ ์—์ด์ „ํŠธ LLM ์‹œ์Šคํ…œ์—์„œ ๋ฐœ์ƒํ•˜๋Š” ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ ๋ฌธ์ œ๋ฅผ ์ธก์ •ํ•  ์ˆ˜ ์žˆ๋Š” ์ตœ์ดˆ์˜ ํ’€์Šคํƒ ๋ฒค์น˜๋งˆํฌ์ธ AgentLeak๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. AgentLeak๋Š” 1,000๊ฐœ์˜ ์‹œ๋‚˜๋ฆฌ์˜ค, 32๊ฐ€์ง€ ๊ณต๊ฒฉ ์œ ํ˜•, 3๋‹จ๊ณ„ ํƒ์ง€ ํŒŒ์ดํ”„๋ผ์ธ์„ ํ†ตํ•ด ๋‚ด๋ถ€ ์ฑ„๋„์—์„œ์˜ ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ์„ ํฌ๊ด„์ ์œผ๋กœ ๋‹ค๋ฃน๋‹ˆ๋‹ค. ์‹คํ—˜ ๊ฒฐ๊ณผ, ๋‹ค์ค‘ ์—์ด์ „ํŠธ ๊ตฌ์„ฑ์€ ์™ธ๋ถ€ ์ถœ๋ ฅ ์ฑ„๋„์˜ ์œ ์ถœ์€ ์ค„์ด์ง€๋งŒ, ๊ฐ์‹œ๋˜์ง€ ์•Š๋Š” ๋‚ด๋ถ€ ์ฑ„๋„์„ ํ†ตํ•ด ์ „์ฒด ์‹œ์Šคํ…œ์˜ ๋…ธ์ถœ์„ ์ฆ๊ฐ€์‹œํ‚ฌ ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋‹ค์ค‘ ์—์ด์ „ํŠธ LLM ์‹œ์Šคํ…œ์€ ๋‹จ์ˆœํžˆ ์ตœ์ข… ์ถœ๋ ฅ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์—์ด์ „ํŠธ ๊ฐ„ ๋ฉ”์‹œ์ง€, ๊ณต์œ  ๋ฉ”๋ชจ๋ฆฌ, ๋„๊ตฌ ์ธ์ˆ˜ ๋“ฑ ๋‚ด๋ถ€ ํ†ต์‹  ์ฑ„๋„์„ ํ†ตํ•ด ์‹ฌ๊ฐํ•œ ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ ์œ„ํ—˜์„ ๋‚ดํฌํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๊ธฐ์กด์˜ ์ถœ๋ ฅ ์ค‘์‹ฌ ๊ฐ์‚ฌ ๋ฐฉ์‹์œผ๋กœ๋Š” ์ „์ฒด ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ์˜ ์ƒ๋‹น ๋ถ€๋ถ„์„ ๋†“์น  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์—์ด์ „ํŠธ ๊ฐ„ ํ†ต์‹  ์ฑ„๋„(C2)์ด ๊ฐ€์žฅ ์ทจ์•ฝํ•œ ์ง€์ ์ž…๋‹ˆ๋‹ค.
โ€ข
๋ชจ๋ธ ์ž์ฒด์˜ ์•ˆ์ „์„ฑ ํ›ˆ๋ จ์ด ๋‚ด๋ถ€ ์ฑ„๋„์˜ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ์—๋„ ๊ธ์ •์ ์ธ ์˜ํ–ฅ์„ ๋ฏธ์น  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ํ–ฅํ›„ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ ์„ค๊ณ„ ์‹œ ๋‚ด๋ถ€ ์ฑ„๋„ ๋ณดํ˜ธ๋ฅผ ์œ„ํ•œ ํ”„๋ ˆ์ž„์›Œํฌ์™€ ํ†ต์‹  ์ œ์–ด ๋ฉ”์ปค๋‹ˆ์ฆ˜ ๋„์ž…์ด ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.
โ€ข
๋ณธ ์—ฐ๊ตฌ๋Š” ํŠน์ • ๋ชจ๋ธ๊ณผ ์‹œ๋‚˜๋ฆฌ์˜ค์— ๊ธฐ๋ฐ˜ํ•œ ๋ฒค์น˜๋งˆํฌ์ด๋ฉฐ, ์‹ค์ œ ํ™˜๊ฒฝ์˜ ๋ณต์žก์„ฑ์„ ์™„์ „ํžˆ ๋ฐ˜์˜ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋” ๋‹ค์–‘ํ•œ ์‹œ๋‚˜๋ฆฌ์˜ค์™€ ๊ณต๊ฒฉ ๊ธฐ๋ฒ•์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘