Tool-Genesis: A Task-Driven Tool Creation Benchmark for Self-Evolving Language Agent

Created by

Haebom

저자

Bowei Xia, Mengkang Hu, Shijian Wang, Jiarui Jin, Wenxiang Jiao, Yuan Lu, Kexin Li, Ping Luo

💡 개요

본 논문은 언어 에이전트가 작업 요구사항에 따라 스스로 도구를 생성, 수정, 유지보수하는 능력을 평가하는 데 있어 기존 벤치마크의 한계를 지적하고, 이를 극복하기 위한 새로운 진단 벤치마크인 Tool-Genesis를 제안한다. Tool-Genesis는 미리 정의된 명세 없이 추상적인 요구사항만으로 도구를 생성하고 실제 문제를 해결하는 에이전트의 능력을 인터페이스 준수, 기능 정확성, 최종 유용성 등 다차원적으로 측정한다. 연구 결과, 최신 모델조차도 한 번의 시도로 정확한 도구 인터페이스나 실행 가능한 로직을 생성하는 데 어려움을 겪으며, 초기 오류가 후속 단계에서 성능 저하를 야기함을 발견했다.

🔑 시사점 및 한계

•

기존 벤치마크의 고정된 명세 의존성을 탈피하여, 에이전트의 진정한 자율적 진화 능력을 측정할 수 있는 새로운 평가 프레임워크를 제시한다.

•

추상적 요구사항으로부터 도구를 생성하는 과정에서 발생하는 인터페이스 및 기능적 결함을 분리하여 진단함으로써, 실패의 근본 원인을 파악하고 개선 방향을 제시한다.

•

현재 최신 모델들도 초기 도구 생성 단계에서 발생하는 미묘한 오류가 심각한 최종 성능 저하로 이어질 수 있음을 보여줌으로써, 초기 도구 생성의 중요성을 강조한다.

•

본 벤치마크는 에이전트가 지속적이고 범용적인 도구를 합성하도록 훈련하고 유도하는 향후 연구의 방향을 설정하는 데 기여할 것으로 기대된다.

PDF 보기

Made with Slashpage