OpaqueToolsBench: Learning Nuances of Tool Behavior Through Interaction

Created by

Haebom

저자

Skyler Hallinan, Thejas Venkatesh, Xiang Ren, Sai Praneeth Karimireddy, Ashwin Paranjape, Yuhao Zhang, Jack Hessel

💡 개요

본 논문은 실제 세계의 복잡하고 불분명한 도구(opaque tools)를 LLM 에이전트가 효과적으로 사용하도록 학습시키는 문제에 집중합니다. 이를 위해 LLM 에이전트가 상호작용을 통해 도구의 동작 방식과 실패 모드를 학습하여 문서를 개선하는 OpaqueToolsBench라는 새로운 벤치마크를 제안합니다. 제안된 ToolObserver 프레임워크는 도구 호출 궤적에서 얻은 실행 피드백을 관찰하여 도구 문서를 반복적으로 개선함으로써 기존 방법 대비 우수한 성능과 효율성을 보여줍니다.

🔑 시사점 및 한계

•

LLM 에이전트가 불분명한 도구 환경에서 상호작용을 통해 도구 사용법을 학습하고 문서를 개선할 수 있다는 가능성을 제시합니다.

•

제안된 ToolObserver 프레임워크는 불분명한 도구 환경에서 LLM 에이전트의 도구 활용 능력을 향상시키는 데 효과적이며, 기존 방법 대비 더 적은 토큰으로도 우수한 성능을 달성합니다.

•

본 연구에서 제안된 벤치마크와 프레임워크는 실제 세계의 복잡한 도구 환경에 대한 LLM 에이전트의 학습 및 평가를 위한 새로운 방향을 제시합니다.

•

실제 환경에서의 도구 불명확성이 더 복잡하거나 다양한 양상을 띨 경우, ToolObserver 프레임워크의 일반화 가능성에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage