EvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification

Created by

Haebom

저자

Hanrong Zhang, Shicheng Fan, Henry Peng Zou, Yankai Chen, Zhenting Wang, Jiayu Zhou, Chengze Li, Wei-Chieh Huang, Yifei Yao, Kening Zheng, Xue Liu, Xiaoxiao Li, Philip S. Yu

💡 개요

본 연구는 기존 LLM 에이전트의 단순한 도구 호출로는 해결하기 어려운 다단계 전문 작업을 수행하기 위한 '스킬' 개념을 확장하여, 에이전트가 스스로 복잡한 다중 파일 스킬 패키지를 생성하도록 하는 EvoSkills 프레임워크를 제안합니다. EvoSkills는 스킬 생성기와 협력적 검증기를 결합하여, 실제 테스트 데이터 없이도 유익하고 실행 가능한 피드백을 제공함으로써 스킬을 반복적으로 개선합니다. 실험 결과, EvoSkills는 SkillsBench에서 높은 통과율을 달성하며 여러 LLM에 대한 강력한 일반화 능력을 입증했습니다.

🔑 시사점 및 한계

•

자동화된 복잡 스킬 생성: EvoSkills는 레이블 집약적이고 인간-기계 인지 불일치 문제를 겪는 기존 스킬 생성 방식의 한계를 극복하고, 에이전트가 복잡한 다중 파일 스킬을 자율적으로 생성할 수 있음을 보여줍니다.

•

효과적인 검증 메커니즘: 실제 정답 없이도 유익하고 실행 가능한 피드백을 제공하는 협력적 검증기(Surrogate Verifier)의 개발은, 고도로 복잡한 스킬의 자동 검증을 가능하게 하는 새로운 접근 방식을 제시합니다.

•

일반화 성능: 제안된 프레임워크가 다양한 LLM에 걸쳐 우수한 일반화 능력을 보여, 범용적인 스킬 자동 생성 시스템 구축 가능성을 시사합니다.

•

검증기의 정보량 및 정확성: 검증기가 제공하는 피드백의 정보량과 실제 성능 향상에 기여하는 정확성이 얼마나 높은지에 대한 추가적인 분석이 필요할 수 있습니다.

PDF 보기

Made with Slashpage