Sign In

CTFExplorer: Evaluating LLM Offensive Agents Through Multi-Target Web CTF Benchmarking

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Nanda Rani, Kimberly Milner, Minghao Shao, Meet Udeshi, Haoran Xi, Venkata Sai Charan Putrevu, Saksham Aggarwal, Sandeep K. Shukla, Prashanth Krishnamurthy, Farshad Khorrami, Muhammad Shafique, Ramesh Karri

πŸ’‘ κ°œμš”

λ³Έ 논문은 κΈ°μ‘΄ LLM 기반 λ³΄μ•ˆ 곡격 μ—μ΄μ „νŠΈ 평가 방식이 단일 λͺ©ν‘œμ— κ΅­ν•œλ˜μ–΄ μ‹€μ œ CTF ν™˜κ²½μ˜ λ³΅μž‘μ„±μ„ λ°˜μ˜ν•˜μ§€ λͺ»ν•œλ‹€λŠ” λ¬Έμ œμ μ„ μ§€μ ν•©λ‹ˆλ‹€. 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, μ—¬λŸ¬ μ›Ή 기반 μ·¨μ•½ μ„œλΉ„μŠ€λ₯Ό ν•˜λ‚˜μ˜ ν™˜κ²½μ— λ°°μΉ˜ν•˜μ—¬ μ—μ΄μ „νŠΈκ°€ 슀슀둜 λͺ©ν‘œλ₯Ό 탐색, μš°μ„ μˆœμœ„ κ²°μ •, 곡격 체인 ꡬ성을 μˆ˜ν–‰ν•˜λ„λ‘ ν•˜λŠ” CTFExplorer 벀치마크λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 μ—μ΄μ „νŠΈμ˜ μ „λž΅μ  μΆ”λ‘  λŠ₯λ ₯을 평가할 수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
κΈ°μ‘΄ 평가 λ°©μ‹μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³  LLM λ³΄μ•ˆ μ—μ΄μ „νŠΈμ˜ μ‹€μ œμ μΈ 탐색, μš°μ„ μˆœμœ„ κ²°μ •, 곡격 체인 ꡬ성 λŠ₯λ ₯을 μ’…ν•©μ μœΌλ‘œ 평가할 수 μžˆλŠ” μƒˆλ‘œμš΄ 벀치마크λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ—μ΄μ „νŠΈμ˜ λ‹¨μˆœν•œ ν”Œλž˜κ·Έ νšλ“ μ—¬λΆ€λ₯Ό λ„˜μ–΄, λͺ©ν‘œ μ„ μ •, μ‹€νŒ¨ κ°€μ„€ 처리, 닀단계 곡격 μ‘°μ •, λ³΄μ•ˆ 정보 μΆ”μΆœ λ“± 행동적 츑면에 λŒ€ν•œ μƒμ„Έν•œ 평가λ₯Ό κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 벀치마크의 λ³΅μž‘μ„±κ³Ό ν˜„μ‹€μ„±μ„ 높이기 μœ„ν•œ ν–₯ν›„ 연ꡬ, λ‹€μ–‘ν•œ 곡격 μœ ν˜• 및 μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ 적용, μ—μ΄μ „νŠΈ κ°„μ˜ ν˜‘λ ₯ 및 경쟁 λ©”μ»€λ‹ˆμ¦˜ κ°•ν™” 등이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage