Sign In

Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode

Created by
  • Haebom
Category
Empty

μ €μž

Zimo Ji, Zongjie Li, Wenyuan Jiang, Yudong Gao, Shuai Wang

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” Claude Code의 μžλ™ λͺ¨λ“œλΌλŠ” AI μ½”λ”© μ—μ΄μ „νŠΈμ˜ κΆŒν•œ μ‹œμŠ€ν…œμ„ λ…λ¦½μ μœΌλ‘œ ν‰κ°€ν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” λͺ…ν™•ν•œ μ‚¬μš©μž μ˜λ„μ—λ„ λΆˆκ΅¬ν•˜κ³  μœ„ν—˜ μˆ˜μ€€μ΄ λΆˆλΆ„λͺ…ν•œ λͺ¨ν˜Έν•œ μ‹œλ‚˜λ¦¬μ˜€μ— μ΄ˆμ μ„ λ§žμΆ”μ–΄, κΈ°μ‘΄ 보고된 μˆ˜μΉ˜λ³΄λ‹€ 훨씬 높은 81.0%의 μ˜€νƒμœ¨μ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. 특히, λΆ„λ₯˜κΈ°κ°€ ν‰κ°€ν•˜μ§€ μ•ŠλŠ” ν”„λ‘œμ νŠΈ λ‚΄ 파일 νŽΈμ§‘μ„ 톡해 μœ„ν—˜ν•œ μž‘μ—…μ΄ μˆ˜ν–‰λ˜λŠ” κ²½μš°κ°€ λ§Žμ•„ κΆŒν•œ μ‹œμŠ€ν…œμ˜ 효과적인 λ²”μœ„λ₯Ό μ œν•œν•œλ‹€λŠ” 점을 λ°ν˜”μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
Claude Code μžλ™ λͺ¨λ“œλŠ” λͺ…ν™•ν•œ μ‚¬μš©μž μ˜λ„μ™€ 달리 μœ„ν—˜μ„±μ΄ λΆˆλΆ„λͺ…ν•œ μž‘μ—…μ— λŒ€ν•΄ κΈ°μ‘΄ 보고보닀 훨씬 높은 μ˜€νƒμœ¨μ„ λ³΄μž…λ‹ˆλ‹€.
β€’
AI μ½”λ”© μ—μ΄μ „νŠΈλŠ” μ‰˜ μ ‘κ·Ό 외에도 파일 νŽΈμ§‘μ„ 톡해 μ‹œμŠ€ν…œ μƒνƒœλ₯Ό λ³€κ²½ν•  수 있으며, ν˜„μž¬ κΆŒν•œ μ‹œμŠ€ν…œμ€ μ΄λŸ¬ν•œ 파일 νŽΈμ§‘μ„ 효과적으둜 κ°μ‹œν•˜μ§€ λͺ»ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” 벀치마크 데이터셋(AmPermBench)을 μ‚¬μš©ν•˜μ—¬ AI κΆŒν•œ μ‹œμŠ€ν…œμ˜ 취약점을 μ‘°λͺ…ν–ˆμ§€λ§Œ, μ‹€μ œ λ‹€μ–‘ν•œ λ³΅μž‘μ„±μ„ λͺ¨λ‘ λ°˜μ˜ν•˜μ§€λŠ” λͺ»ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage