Sign In

Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing

Created by
  • Haebom
Category
Empty

μ €μž

Keita Broadwater

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM의 μ•ˆμ „μ„±μ„ ν‰κ°€ν•˜λŠ” κΈ°μ‘΄ 방식이 λ‹€μ–‘ν•œ μž‘μ—…μ— 걸친 평가에 μ§‘μ€‘λ˜μ–΄ μžˆμ§€λ§Œ, μ‹€μ œ 배포 ν™˜κ²½μ—μ„œλŠ” λ™μΌν•˜κ±°λ‚˜ μœ μ‚¬ν•œ ν”„λ‘¬ν”„νŠΈμ— λŒ€ν•œ 반볡적인 μΆ”λ‘  μ‹œ λ°œμƒν•˜λŠ” μš΄μ˜μƒμ˜ μœ„ν—˜μ„ κ°„κ³Όν•œλ‹€κ³  μ§€μ ν•©λ‹ˆλ‹€. 이에 μ €μžλ“€μ€ 반볡 μΆ”λ‘  ν•˜μ—μ„œ LLM의 잠재적 μ‹€νŒ¨ λͺ¨λ“œλ₯Ό μ‹λ³„ν•˜κΈ° μœ„ν•œ '가속 ν”„λ‘¬ν”„νŠΈ 슀트레슀 ν…ŒμŠ€νŠΈ(APST)'λΌλŠ” μƒˆλ‘œμš΄ 평가 ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. APSTλŠ” μ œμ–΄λœ 쑰건 ν•˜μ—μ„œ λ™μΌν•œ ν”„λ‘¬ν”„νŠΈλ₯Ό 반볡적으둜 μƒ˜ν”Œλ§ν•˜μ—¬ ν™˜κ°, κ±°λΆ€ 뢈일치, μ•ˆμ „ν•˜μ§€ μ•Šμ€ μ™„λ£Œμ™€ 같은 μ‹€νŒ¨ λͺ¨λ“œλ₯Ό λ“œλŸ¬λ‚΄λ©°, μ΄λŸ¬ν•œ μ‹€νŒ¨λ₯Ό ν™•λ₯ μ  결과둜 λͺ¨λΈλ§ν•˜μ—¬ μ‹€νŒ¨ ν™•λ₯ μ„ μΆ”μ •ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
κΈ°μ‘΄ LLM μ•ˆμ „μ„± ν‰κ°€μ˜ 단점을 λ³΄μ™„ν•˜μ—¬, μ‹€μ œ μ„œλΉ„μŠ€ ν™˜κ²½μ—μ„œ λ°œμƒν•  수 μžˆλŠ” 반볡 μΆ”λ‘  μ‹œμ˜ μ•ˆμ „μ„± 문제λ₯Ό μ‹¬μΈ΅μ μœΌλ‘œ 평가할 수 μžˆλŠ” 방법둠을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λΉ„μŠ·ν•œ μ„±λŠ₯을 λ³΄μ΄λŠ” LLM이라도 반볡적인 μ‚¬μš© ν•˜μ—μ„œλŠ” μƒλ‹Ήν•œ 차이λ₯Ό λ³΄μ΄λŠ” μ•ˆμ „μ„± 신뒰도λ₯Ό κ°€μ§ˆ 수 μžˆμŒμ„ 보여주며, 단일 μƒ˜ν”Œ λ˜λŠ” 저심측 ν‰κ°€μ˜ ν•œκ³„λ₯Ό λͺ…ν™•νžˆ ν•©λ‹ˆλ‹€.
β€’
APSTλŠ” 지속적인 μ‚¬μš© μ‹œμ˜ μ‹€νŒ¨ λΉˆλ„λ₯Ό μΆ”μ •ν•˜κ³  λͺ¨λΈ 및 λ””μ½”λ”© 섀정을 λΉ„κ΅ν•˜λŠ” μ‹€μš©μ μΈ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œκ³΅ν•˜λ©°, LLM μ•ˆμ „μ„± 신뒰도 평가에 μ€‘μš”ν•œ κΈ°μ—¬λ₯Ό ν•©λ‹ˆλ‹€.
β€’
(ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제) APST의 νš¨κ³Όμ„±μ„ κ·ΉλŒ€ν™”ν•˜κΈ° μœ„ν•œ ν”„λ‘¬ν”„νŠΈ λ‹€μ–‘μ„± 및 반볡 νšŸμˆ˜μ— λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•˜λ©°, μ‹€μ œ 배포 ν™˜κ²½μ˜ λ³΅μž‘μ„±μ„ λͺ¨λ‘ λ°˜μ˜ν•˜λŠ” λ°λŠ” 아직 ν•œκ³„κ°€ μžˆμ„ 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage