Sign In

AgentLeak: A Full-Stack Benchmark for Privacy Leakage in Multi-Agent LLM Systems

Created by
  • Haebom
Category
Empty

μ €μž

Faouzi El Yagoubi, Ranwa Al Mallah, Godwin Badu-Marfo

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” 닀쀑 μ—μ΄μ „νŠΈ LLM μ‹œμŠ€ν…œμ—μ„œ λ°œμƒν•˜λŠ” κ°œμΈμ •λ³΄ 유좜 문제λ₯Ό μΈ‘μ •ν•  수 μžˆλŠ” 졜초의 ν’€μŠ€νƒ 벀치마크인 AgentLeakλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. AgentLeakλŠ” 1,000개의 μ‹œλ‚˜λ¦¬μ˜€, 32가지 곡격 μœ ν˜•, 3단계 탐지 νŒŒμ΄ν”„λΌμΈμ„ 톡해 λ‚΄λΆ€ μ±„λ„μ—μ„œμ˜ κ°œμΈμ •λ³΄ μœ μΆœμ„ ν¬κ΄„μ μœΌλ‘œ λ‹€λ£Ήλ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, 닀쀑 μ—μ΄μ „νŠΈ ꡬ성은 μ™ΈλΆ€ 좜λ ₯ μ±„λ„μ˜ μœ μΆœμ€ μ€„μ΄μ§€λ§Œ, κ°μ‹œλ˜μ§€ μ•ŠλŠ” λ‚΄λΆ€ 채널을 톡해 전체 μ‹œμŠ€ν…œμ˜ λ…ΈμΆœμ„ μ¦κ°€μ‹œν‚¬ 수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
닀쀑 μ—μ΄μ „νŠΈ LLM μ‹œμŠ€ν…œμ€ λ‹¨μˆœνžˆ μ΅œμ’… 좜λ ₯뿐만 μ•„λ‹ˆλΌ μ—μ΄μ „νŠΈ κ°„ λ©”μ‹œμ§€, 곡유 λ©”λͺ¨λ¦¬, 도ꡬ 인수 λ“± λ‚΄λΆ€ 톡신 채널을 톡해 μ‹¬κ°ν•œ κ°œμΈμ •λ³΄ 유좜 μœ„ν—˜μ„ λ‚΄ν¬ν•©λ‹ˆλ‹€.
β€’
기쑴의 좜λ ₯ 쀑심 감사 λ°©μ‹μœΌλ‘œλŠ” 전체 κ°œμΈμ •λ³΄ 유좜의 상당 뢀뢄을 놓칠 수 있으며, μ—μ΄μ „νŠΈ κ°„ 톡신 채널(C2)이 κ°€μž₯ μ·¨μ•½ν•œ μ§€μ μž…λ‹ˆλ‹€.
β€’
λͺ¨λΈ 자체의 μ•ˆμ „μ„± ν›ˆλ ¨μ΄ λ‚΄λΆ€ μ±„λ„μ˜ κ°œμΈμ •λ³΄ λ³΄ν˜Έμ—λ„ 긍정적인 영ν–₯을 λ―ΈμΉ  수 있으며, ν–₯ν›„ 닀쀑 μ—μ΄μ „νŠΈ μ‹œμŠ€ν…œ 섀계 μ‹œ λ‚΄λΆ€ 채널 보호λ₯Ό μœ„ν•œ ν”„λ ˆμž„μ›Œν¬μ™€ 톡신 μ œμ–΄ λ©”μ»€λ‹ˆμ¦˜ λ„μž…μ΄ ν•„μˆ˜μ μž…λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” νŠΉμ • λͺ¨λΈκ³Ό μ‹œλ‚˜λ¦¬μ˜€μ— κΈ°λ°˜ν•œ 벀치마크이며, μ‹€μ œ ν™˜κ²½μ˜ λ³΅μž‘μ„±μ„ μ™„μ „νžˆ λ°˜μ˜ν•˜κΈ° μœ„ν•΄μ„œλŠ” 더 λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€μ™€ 곡격 기법에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage