Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CATP-LLM: Empowering Large Language Models for Cost-Aware Tool Planning

Created by
  • Haebom

저자

Duo Wu, Jinghe Wang, Yuan Meng, Yanning Zhang, Le Sun, Zhi Wang

개요

본 논문은 대규모 언어 모델(LLM)을 이용한 도구 계획에서 도구 실행 비용을 고려하는 Cost-Aware Tool Planning with LLMs (CATP-LLM) 프레임워크를 제안한다. 기존 연구들이 도구 실행 비용을 고려하지 않아 비용이 과다한 계획을 생성하는 문제점을 해결하기 위해, CATP-LLM은 도구 계획 언어를 도입하여 비순차적이고 다중 분기 계획을 생성하고, 비용 인식 오프라인 강화 학습 알고리즘을 통해 성능-비용 균형을 최적화한다. 또한, 비용 관련 데이터셋 부재 문제를 해결하기 위해 Cost-aware planning 평가를 위한 첫 번째 플랫폼인 OpenCATP를 제시한다. 실험 결과, CATP-LLM은 Llama2-7B를 기반으로 GPT-4보다 평균 28.2%-30.2% 향상된 계획 성능과 24.7%-45.8% 낮은 비용을 달성하였다. 코드와 데이터셋은 공개적으로 제공된다.

시사점, 한계점

시사점:
LLM 기반 도구 계획에서 비용 고려의 중요성을 강조하고, 이를 해결하기 위한 효과적인 프레임워크인 CATP-LLM을 제시.
도구 계획 언어와 비용 인식 오프라인 강화 학습 알고리즘을 통해 LLM의 성능-비용 균형을 최적화.
비용 고려 도구 계획 평가를 위한 공개 플랫폼 OpenCATP 제공.
Llama2-7B와 같은 상대적으로 작은 모델에서도 GPT-4를 능가하는 성능을 달성.
한계점:
OpenCATP 플랫폼의 데이터셋 규모 및 다양성에 대한 추가적인 검증 필요.
다양한 유형의 도구 및 작업에 대한 일반화 성능 평가 필요.
실제 환경 적용 시 발생할 수 있는 예측 불가능성 및 오류에 대한 추가적인 연구 필요.
비용 함수의 정의 및 설정에 대한 민감도 분석 필요.
👍