Sign In

Attention-Guided Reward for Reinforcement Learning-based Jailbreak against Large Reasoning Models

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zheng Lin, Zhenxing Niu, Haoxuan Ji, Yuzhe Huang, Haichang Gao

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μΆ”λ‘  λͺ¨λΈ(LRM)의 취약점을 μ•…μš©ν•˜λŠ” μ•ˆμ „ 곡격, 즉 'νƒˆμ˜₯(jailbreak)' 곡격에 μ΄ˆμ μ„ 맞μΆ₯λ‹ˆλ‹€. 연ꡬ진은 LRM의 λ‚΄λΆ€ 주의(attention) νŒ¨ν„΄μ΄ 곡격 성곡λ₯ κ³Ό λ°€μ ‘ν•œ 관련이 μžˆμŒμ„ λ°œκ²¬ν•˜κ³ , 이λ₯Ό ν™œμš©ν•˜μ—¬ κ°•ν™”ν•™μŠ΅ 기반의 μƒˆλ‘œμš΄ νƒˆμ˜₯ 방법을 μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ 방법은 주의 μ‹ ν˜Έλ₯Ό 보상 ν•¨μˆ˜μ— ν†΅ν•©ν•˜κ³  λ‹€μ–‘ν•œ 섀득 μ „λž΅μ„ μ μš©ν•˜μ—¬ κΈ°μ‘΄ 방법 λŒ€λΉ„ 효과적이고 효율적인 νƒˆμ˜₯ μ„±λŠ₯을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LRM의 λ‚΄λΆ€ 주의 λ©”μ»€λ‹ˆμ¦˜μ΄ νƒˆμ˜₯ 곡격에 μ€‘μš”ν•œ 역할을 ν•˜λ©°, 이λ₯Ό μ—­μ΄μš©ν•˜μ—¬ 곡격 성곡λ₯ μ„ 높일 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
주의 정보λ₯Ό ν™œμš©ν•œ κ°•ν™”ν•™μŠ΅ 기반 μ ‘κ·Ό 방식은 LRM에 λŒ€ν•œ νƒˆμ˜₯ 곡격의 νš¨κ³Όμ„±κ³Ό νš¨μœ¨μ„±μ„ 크게 ν–₯μƒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ°©λ²•μ˜ μΌλ°˜ν™” λŠ₯λ ₯κ³Ό λ‹€μ–‘ν•œ LRM에 λŒ€ν•œ 적용 κ°€λŠ₯성은 μ‹€ν—˜μ„ 톡해 μž…μ¦λ˜μ—ˆμ§€λ§Œ, μ‹€μ œ ν™˜κ²½μ—μ„œμ˜ 윀리적 λ¬Έμ œμ™€ 이에 λŒ€ν•œ λ°©μ–΄ μ „λž΅μ€ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage