Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

In-N-Out: A Parameter-Level API Graph Dataset for Tool Agents

Created by
  • Haebom
Category
Empty

저자

Seungkyu Lee, Nalim Kim, Yohan Jo

개요

본 논문은 실제 세계 작업을 수행하기 위해 외부 API와 상호 작용하는 LLM 기반 시스템인 도구 에이전트의 복잡한 작업을 해결하기 위해 API 종속성을 캡처하는 구조화된 API 그래프로 API 문서를 변환하고, 이를 구성 API 호출이 필요한 다중 도구 쿼리에 활용하는 연구를 제시한다. 이를 위해, 두 개의 실제 API 벤치마크 및 해당 문서를 기반으로 구축된 API 그래프의 첫 번째 전문가 주석 데이터 세트인 In-N-Out을 소개한다. In-N-Out을 사용하면 도구 검색 및 다중 도구 쿼리 생성 성능이 크게 향상되며, 문서만 사용하는 LLM의 성능을 거의 두 배로 높인다. 또한, In-N-Out에서 미세 조정된 모델에서 생성된 그래프는 이 격차의 90%를 좁혀, 본 데이터 세트가 모델이 API 문서 및 매개변수 관계를 이해하는 데 도움이 된다는 것을 보여준다.

시사점, 한계점

API 그래프를 사용하여 도구 에이전트의 성능을 향상시킬 수 있는 가능성을 제시한다.
In-N-Out 데이터 세트를 통해 모델이 API 문서와 매개변수 관계를 학습할 수 있도록 한다.
다중 도구 쿼리 생성 및 도구 검색 성능을 크게 향상시켰다.
모델 훈련을 위한 In-N-Out 데이터 세트의 유용성을 입증했다.
연구의 한계점은 명시적으로 언급되지 않았다.
👍