Library Drift: Diagnosing and Fixing a Silent Failure Mode in Self-Evolving LLM Skill Libraries

작성자

Haebom

카테고리

Empty

저자

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

💡 개요

본 논문은 LLM 스킬 라이브러리가 발전하면서 발생하는 '라이브러리 드리프트'라는 잠재적 문제점을 식별하고 해결하는 방법을 제안합니다. 이는 결과 중심의 수명 주기 관리 없이 스킬이 무분별하게 축적되어 검색 성능 저하, 잘못된 스킬 주입, 성능 정체 등을 야기하는 현상입니다. 연구진은 이 문제를 재현 가능한 트리거, 스킬별 기여도와 라우터 참여 지표를 포함하는 진단 도구, 그리고 성능을 크게 향상시키는 거버넌스 체계를 통해 해결책을 제시합니다.

🔑 시사점 및 한계

•

LLM 기반 스킬 라이브러리의 성능 저하를 유발하는 '라이브러리 드리프트'라는 새로운 실패 모드를 명확히 정의하고 분석했습니다.

•

개발된 진단 도구와 거버넌스 체계는 LLM 스킬 라이브러리의 지속적인 성능 향상과 안정성을 보장하는 데 중요한 역할을 할 수 있습니다.

•

제안된 해결책은 MBPP+ 데이터셋에서 상당한 성능 향상을 보였으나, 실제 다양한 시나리오와 복잡한 LLM 에이전트 환경에서의 추가적인 검증 및 일반화 가능성 탐구가 필요합니다.

PDF 보기

Made with Slashpage