Sign In

OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Kaixiang Wang, Jiong Lou, Zhaojiacheng Zhou, Jie Li

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” 자체 μ§„ν™”ν•˜λŠ” LLM μ—μ΄μ „νŠΈμ˜ λ©”λͺ¨λ¦¬ 증강 λ©”μ»€λ‹ˆμ¦˜μ΄ μƒˆλ‘œμš΄ λ³΄μ•ˆ 취약점을 μ•ΌκΈ°ν•œλ‹€λŠ” 점에 μ£Όλͺ©ν•©λ‹ˆλ‹€. κΈ°μ‘΄ 곡격과 달리, λ³Έ 논문은 μ—μ΄μ „νŠΈκ°€ λ‘œμ»¬μ—μ„œλŠ” μ˜¬λ°”λ₯΄μ§€λ§Œ μ „μ΄λ˜μ§€ μ•ŠλŠ” κ²½ν—˜μ„ μƒμ„±ν•˜λ„λ‘ μœ λ„ν•˜λŠ” "Obsessive Experience Poisoning (OEP)"μ΄λΌλŠ” μƒˆλ‘œμš΄ 곡격 기법을 μ œμ•ˆν•©λ‹ˆλ‹€. OEPλŠ” μ—μ΄μ „νŠΈμ˜ λ°˜μΆ” κ³Όμ •μ—μ„œ μ˜λ„μΉ˜ μ•Šμ€ 편ν–₯을 μœ λ°œν•˜μ—¬, 마치 μ•ˆμ „ν•œ κ·œμΉ™μ²˜λŸΌ λ³΄μ΄λŠ” μΌλ°˜ν™”λœ 잘λͺ»λœ 결정을 λ‚΄λ¦¬κ²Œ λ§Œλ“­λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μƒˆλ‘œμš΄ 곡격 벑터 μ œμ‹œ: LLM μ—μ΄μ „νŠΈμ˜ 자기 λ°œμ „ 및 λ°˜μΆ” κ³Όμ •μ—μ„œ λ°œμƒν•  수 μžˆλŠ” λ―Έλ¬˜ν•˜μ§€λ§Œ 효과적인 곡격 방식을 μƒˆλ‘­κ²Œ μ œμ‹œν•˜μ—¬ LLM λ³΄μ•ˆ μ—°κ΅¬μ˜ λ²”μœ„λ₯Ό ν™•μž₯ν•©λ‹ˆλ‹€.
β€’
μ•ˆμ „ ν•„ν„° 우회 κ°€λŠ₯μ„±: 기쑴의 λͺ…λ°±ν•œ μ•…μ„± μ½˜ν…μΈ λ‚˜ 높은 κΆŒν•œμ„ μš”κ΅¬ν•˜λŠ” 곡격과 달리, OEPλŠ” 'κΉ¨λ—ν•œ' κ²½ν—˜μ„ μ‚¬μš©ν•˜λ―€λ‘œ κ³ κΈ‰ μ•ˆμ „ 필터에 μ˜ν•œ 탐지λ₯Ό νšŒν”Όν•  수 μžˆλŠ” 잠재λ ₯을 κ°€μ§‘λ‹ˆλ‹€.
β€’
μ™„λ²½ν•œ ν•΄κ²°μ±… λΆ€μž¬: λ³Έ μ—°κ΅¬λŠ” 곡격 기법을 μ œμ•ˆν•˜μ§€λ§Œ, μ΄λŸ¬ν•œ 곡격을 λ°©μ–΄ν•˜κ±°λ‚˜ μ™„ν™”ν•˜λŠ” 방법에 λŒ€ν•œ ꡬ체적인 해결책은 μ œμ‹œν•˜μ§€ μ•Šμ•„ ν–₯ν›„ 연ꡬ 과제둜 λ‚¨μŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage