Sign In

When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bj{\o}rklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

πŸ’‘ κ°œμš”

λ³Έ 논문은 λ ˆμ΄λΈ”μ΄ μ—†λŠ” μƒν™©μ—μ„œ μ–Έμ–΄ λͺ¨λΈμ˜ μ•ˆμ „μ„±μ„ 비ꡐ ν‰κ°€ν•˜λŠ” "벀치마크리슀(benchmarkless)" 접근법을 μ œμ‹œν•©λ‹ˆλ‹€. μ œμ•ˆλœ 방법둠은 μ•ˆμ „ν•œ λŒ€μƒκ³Ό 제거된(abliterated) λŒ€μƒ κ°„μ˜ ν†΅μ œλœ 비ꡐλ₯Ό 톡해 ν‰κ°€μ˜ μœ νš¨μ„±μ„ ν™•λ³΄ν•˜λ©°, κ°μ‚¬μž, μ‹¬μ‚¬μž, μƒ˜ν”Œλ§ ꡬ성 λ“±μ˜ λ³€μˆ˜λ₯Ό κ³ μ •ν–ˆμ„ λ•Œ μ•ˆμ •μ μΈ 점수λ₯Ό μ–»λŠ” 것을 λͺ©ν‘œλ‘œ ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, μ œμ•ˆλœ 방법둠이 효과적으둜 μ•ˆμ „ν•œ λͺ¨λΈκ³Ό 그렇지 μ•Šμ€ λͺ¨λΈμ„ κ΅¬λΆ„ν•˜κ³ , 평가 κ²°κ³Όκ°€ λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€ 범주와 μœ„ν—˜ μΈ‘μ • μ§€ν‘œμ— 따라 λ‹¬λΌμ§ˆ 수 μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ ˆμ΄λΈ”μ΄ μ—†λŠ” μƒν™©μ—μ„œλ„ μ–Έμ–΄ λͺ¨λΈμ˜ μ•ˆμ „μ„± 비ꡐ 평가가 κ°€λŠ₯ν•˜λ©°, μ΄λŠ” 규제 μ€€μˆ˜ 및 μ‹€μ œ 배포 ν™˜κ²½μ—μ„œ μ€‘μš”ν•œ μ‹œμ‚¬μ μ„ μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
평가 κ²°κ³ΌλŠ” νŠΉμ • μ‹œλ‚˜λ¦¬μ˜€, κ°μ‚¬μž, μ‹¬μ‚¬μž, μƒ˜ν”Œλ§ ꡬ성 λ“±μ˜ 쑰합에 따라 λ‹¬λΌμ§€λ―€λ‘œ, μ μˆ˜μ™€ ν•¨κ»˜ μ΄λŸ¬ν•œ 메타데이터λ₯Ό ν•¨κ»˜ 보고해야 ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법둠은 νŠΉμ • 감사 도ꡬ(SimpleAudit)에 κ΅­ν•œλ˜μ§€ μ•Šκ³  λ‹€λ₯Έ 도ꡬ(Petri)에도 적용 κ°€λŠ₯함을 λ³΄μ—¬μ£Όμ§€λ§Œ, ν‰κ°€μ˜ μœ νš¨μ„±μ€ ν΄λ ˆμž„-계약 이행 및 배포 적합성에 따라 λ‹¬λΌμ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν•œκ³„μ μœΌλ‘œλŠ” 감사 κ³Όμ •μ˜ μž¬ν˜„μ„± 및 μΌλ°˜ν™”λ₯Ό μœ„ν•œ 좔가적인 검증이 ν•„μš”ν•  수 있으며, λ‹€μ–‘ν•œ μ–Έμ–΄, μ‚°μ—… λΆ„μ•Ό, 규제 μ²΄μ œμ— λŒ€ν•œ μΌλ°˜ν™” κ°€λŠ₯성을 λ”μš± ν™•μž₯ν•΄μ•Ό ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage