Sign In

Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Alexandre Cristovao Maiorano

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM μ• ν”Œλ¦¬μΌ€μ΄μ…˜μ˜ 비결정적 νŠΉμ„±κ³Ό 지속적인 λͺ¨λΈ λ³€ν™”λ‘œ 인해 전톡적인 ν…ŒμŠ€νŠΈ λ°©λ²•μœΌλ‘œλŠ” λΆ€μ‘±ν•˜λ‹€λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μžλ™ν™”λœ 자체 ν…ŒμŠ€νŠΈ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬λŠ” μž‘μ—… 성곡λ₯ , 연ꡬ λ§₯락 보쑴, P95 지연 μ‹œκ°„, μ•ˆμ „ ν†΅κ³Όμœ¨, 증거 μ»€λ²„λ¦¬μ§€μ˜ 5가지 κ²½ν—˜μ  차원에 κΈ°λ°˜ν•œ ν’ˆμ§ˆ 게이트λ₯Ό λ„μž…ν•˜μ—¬ PROMOTE/HOLD/ROLLBACK 결정을 λ‚΄λ¦½λ‹ˆλ‹€. 4μ£Όκ°„μ˜ μŠ€ν…Œμ΄μ§• 라이프사이클 λ™μ•ˆ 20개 μ΄μƒμ˜ λ‚΄λΆ€ λ¦΄λ¦¬μŠ€μ— λŒ€ν•œ 38회의 평가 싀행을 톡해 ν”„λ ˆμž„μ›Œν¬λ₯Ό κ²€μ¦ν•˜μ˜€μœΌλ©°, 초기 λ¦΄λ¦¬μŠ€μ—μ„œ 2개의 ROLLBACK λ“±κΈ‰ λΉŒλ“œλ₯Ό μ‹λ³„ν•˜κ³  μ•ˆμ •μ μΈ ν’ˆμ§ˆ λ°œμ „μ„ μ§€μ›ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
증거 μ»€λ²„λ¦¬μ§€μ˜ μ€‘μš”μ„±: 증거 컀버리지가 μ‹¬κ°ν•œ νšŒκ·€λ₯Ό μ‹λ³„ν•˜λŠ” μ£Όμš” κΈ°μ€€μœΌλ‘œ λ‚˜νƒ€λ‚¬μŠ΅λ‹ˆλ‹€.
β€’
닀차원적 ν’ˆμ§ˆ ν‰κ°€μ˜ ν•„μš”μ„±: LLM-judgeμ™€μ˜ 비ꡐ 연ꡬλ₯Ό 톡해 지연 μ‹œκ°„ 및 λΌμš°νŒ… 였λ₯˜μ™€ 같은 ꡬ쑰적 μ‹€νŒ¨λŠ” 응닡 ν…μŠ€νŠΈλ§ŒμœΌλ‘œλŠ” νŒŒμ•…ν•˜κΈ° μ–΄λ ΅μ§€λ§Œ, LLM-judgeλŠ” μ΄λŸ¬ν•œ 뢀뢄을 λ³΄μ™„ν•˜μ—¬ 닀차원적인 ν’ˆμ§ˆ ν‰κ°€μ˜ μ€‘μš”μ„±μ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
ν•œκ³„μ : LLM-judge와 μ‹œμŠ€ν…œ 게이트 κ°„μ˜ 뢈일치(kappa=0.13)λŠ” μ—¬μ „νžˆ μ‘΄μž¬ν•˜λ©°, μ΄λŠ” 좔가적인 보완 및 κ°œμ„ μ΄ ν•„μš”ν•¨μ„ λ‚˜νƒ€λƒ…λ‹ˆλ‹€. λ˜ν•œ, μžλ™ν™”λœ ν”„λ ˆμž„μ›Œν¬μ˜ μ™„μ „ν•œ 이점을 μ–»κΈ° μœ„ν•΄μ„œλŠ” 지속적인 μœ μ§€λ³΄μˆ˜ 및 μ‹œλ‚˜λ¦¬μ˜€ μ—…λ°μ΄νŠΈκ°€ μ€‘μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage