Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Learning API Functionality from In-Context Demonstrations for Tool-based Agents

Created by
  • Haebom
Category
Empty

저자

Bhrij Patel, Ashish Jagmohan, Aditya Vempaty

개요

본 논문은 대규모 언어 모델(LLM) 기반의 디지털 도구 에이전트가 외부 API의 기능을 이해하기 위해 문서화에 의존하는 문제점을 지적하고, 문서화 없이 문맥 내 데모로부터 API 기능을 학습하는 새로운 연구 방향을 제시한다. API 벤치마크를 사용하여 전문가 에이전트 및 자기 탐색으로부터 데모를 수집하고, 데모 수, LLM 생성 요약 및 평가의 사용이 에이전트의 성공률에 미치는 영향을 연구한다. 3개의 데이터 세트와 6개의 모델에 대한 실험을 통해 문맥 내 데모로부터의 기능 학습이 여전히 어려운 과제임을 밝히고, 명시적인 함수 호출과 자연어 비평이 정확한 매개변수 채우기를 통해 에이전트의 성공률을 향상시킨다는 것을 확인했다. 또한 실패 모드를 분석하고 오류의 원인을 파악하여 문서화 없는, 자기 개선형 API 기반 에이전트 분야의 주요 과제를 제시한다.

시사점, 한계점

시사점:
문서화가 부족한 상황에서 문맥 내 데모를 활용하여 API 기능을 학습하는 새로운 접근 방식 제시
명시적인 함수 호출 및 자연어 비평이 에이전트 성능 향상에 기여함을 입증
API 기반 에이전트 개발의 주요 과제와 미래 연구 방향 제시
한계점:
문맥 내 데모로부터의 기능 학습은 여전히 어려운 과제임
실험 결과가 특정 데이터 세트와 모델에 의존적일 수 있음
실패 모드 분석 및 오류 원인 파악에 대한 추가적인 연구 필요
👍