Sign In

Detecting Fluent Optimization-Based Adversarial Prompts via Sequential Entropy Changes

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Mohammed Alshaalan, Miguel R. D. Rodrigues

πŸ’‘ κ°œμš”

이 μ—°κ΅¬λŠ” LLM을 μ†μ΄λŠ” μœ μ°½ν•œ μ λŒ€μ  ν”„λ‘¬ν”„νŠΈ(adversarial prompt) 탐지λ₯Ό μœ„ν•΄ 순차적 μ—”νŠΈλ‘œν”Ό λ³€ν™”λ₯Ό ν™œμš©ν•˜λŠ” μƒˆλ‘œμš΄ 온라인 변경점 탐지 기법을 μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ 방법은 LLM μ‹œμŠ€ν…œ ν”„λ‘¬ν”„νŠΈλ‘œλΆ€ν„° 기쀀선을 μ„€μ •ν•˜κ³  μ‚¬μš©μž 토큰 μ—”νŠΈλ‘œν”Όλ₯Ό ν‘œμ€€ν™”ν•˜μ—¬ μ μš©ν•˜λ©°, μ΄λŠ” λͺ¨λΈμ— 독립적이고 ν•™μŠ΅μ΄ ν•„μš” μ—†μœΌλ©΄μ„œλ„ μ λŒ€μ  μ ‘λ―Έμ‚¬μ˜ μ‹œμž‘μ μ„ ꡭ지화할 수 μžˆμŠ΅λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, λ‹€μ–‘ν•œ μ λŒ€μ  곡격에 λŒ€ν•΄ 기쑴의 μ°½ 기반 탐지기보닀 μš°μˆ˜ν•œ μ„±λŠ₯을 λ³΄μ˜€μœΌλ©°, 특히 LLaMA Guard와 같은 μ•ˆμ „ μž₯치의 νš¨μœ¨μ„±μ„ λ†’μ΄λŠ” 데 κΈ°μ—¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM의 λ³΄μ•ˆ 및 신뒰성을 κ°•ν™”ν•˜λŠ” 데 μ€‘μš”ν•œ 역할을 ν•  수 있으며, 특히 μœ μ°½ν•˜μ§€λ§Œ μ•…μ˜μ μΈ ν”„λ‘¬ν”„νŠΈ 탐지에 νš¨κ³Όμ μž…λ‹ˆλ‹€.
β€’
기쑴의 탐지 방법둠이 κ°„κ³Όν•  수 μžˆλŠ” μ΅œμ ν™” 기반 μ λŒ€μ  접미사λ₯Ό 효과적으둜 식별할 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법둠은 온라인으둜 λ™μž‘ν•˜λ©° ν•™μŠ΅μ΄ ν•„μš” μ—†μ–΄ μ‹€μ œ μ‹œμŠ€ν…œμ— μ‰½κ²Œ 적용 κ°€λŠ₯ν•©λ‹ˆλ‹€.
β€’
λͺ¨λΈμ˜ μ—”νŠΈλ‘œν”Ό λ³€ν™”λ₯Ό 기반으둜 ν•˜λ―€λ‘œ, μ—”νŠΈλ‘œν”Ό 뢄포가 크게 λ‹€λ₯Έ μƒˆλ‘œμš΄ μœ ν˜•μ˜ 곡격에 λŒ€ν•΄μ„œλŠ” μ„±λŠ₯ μ €ν•˜κ°€ λ°œμƒν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage