Sign In

Library Drift: Diagnosing and Fixing a Silent Failure Mode in Self-Evolving LLM Skill Libraries

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM μŠ€ν‚¬ λΌμ΄λΈŒλŸ¬λ¦¬κ°€ λ°œμ „ν•˜λ©΄μ„œ λ°œμƒν•˜λŠ” '라이브러리 λ“œλ¦¬ν”„νŠΈ'λΌλŠ” 잠재적 λ¬Έμ œμ μ„ μ‹λ³„ν•˜κ³  ν•΄κ²°ν•˜λŠ” 방법을 μ œμ•ˆν•©λ‹ˆλ‹€. μ΄λŠ” κ²°κ³Ό μ€‘μ‹¬μ˜ 수λͺ… μ£ΌκΈ° 관리 없이 μŠ€ν‚¬μ΄ λ¬΄λΆ„λ³„ν•˜κ²Œ μΆ•μ λ˜μ–΄ 검색 μ„±λŠ₯ μ €ν•˜, 잘λͺ»λœ μŠ€ν‚¬ μ£Όμž…, μ„±λŠ₯ 정체 등을 μ•ΌκΈ°ν•˜λŠ” ν˜„μƒμž…λ‹ˆλ‹€. 연ꡬ진은 이 문제λ₯Ό μž¬ν˜„ κ°€λŠ₯ν•œ 트리거, μŠ€ν‚¬λ³„ 기여도와 λΌμš°ν„° μ°Έμ—¬ μ§€ν‘œλ₯Ό ν¬ν•¨ν•˜λŠ” 진단 도ꡬ, 그리고 μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚€λŠ” κ±°λ²„λ„ŒμŠ€ 체계λ₯Ό 톡해 해결책을 μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 기반 μŠ€ν‚¬ 라이브러리의 μ„±λŠ₯ μ €ν•˜λ₯Ό μœ λ°œν•˜λŠ” '라이브러리 λ“œλ¦¬ν”„νŠΈ'λΌλŠ” μƒˆλ‘œμš΄ μ‹€νŒ¨ λͺ¨λ“œλ₯Ό λͺ…ν™•νžˆ μ •μ˜ν•˜κ³  λΆ„μ„ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
개발된 진단 도ꡬ와 κ±°λ²„λ„ŒμŠ€ μ²΄κ³„λŠ” LLM μŠ€ν‚¬ 라이브러리의 지속적인 μ„±λŠ₯ ν–₯상과 μ•ˆμ •μ„±μ„ 보μž₯ν•˜λŠ” 데 μ€‘μš”ν•œ 역할을 ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 해결책은 MBPP+ λ°μ΄ν„°μ…‹μ—μ„œ μƒλ‹Ήν•œ μ„±λŠ₯ ν–₯상을 λ³΄μ˜€μœΌλ‚˜, μ‹€μ œ λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€μ™€ λ³΅μž‘ν•œ LLM μ—μ΄μ „νŠΈ ν™˜κ²½μ—μ„œμ˜ 좔가적인 검증 및 μΌλ°˜ν™” κ°€λŠ₯μ„± 탐ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘