본 논문은 대규모 언어 모델(LLM)을 활용한 도구 계획에서 도구 실행 비용을 고려하는 Cost-Aware Tool Planning with LLMs (CATP-LLM) 프레임워크를 제안합니다. 기존 연구들이 도구 실행 비용을 고려하지 않아 비용 대비 효율이 낮은 계획을 생성하는 문제점을 해결하기 위해, CATP-LLM은 효율적인 병렬 도구 실행과 비용 절감을 위한 도구 계획 언어를 설계하고, 성능-비용 절충을 최적화하는 비용 인식 오프라인 강화 학습 알고리즘을 제시합니다. 또한, 공개된 비용 관련 데이터셋의 부재를 해결하기 위해 다양한 작업으로 구성된 11,100개의 평가 샘플을 포함하는 OpenCATP 데이터셋을 공개합니다. 실험 결과, CATP-LLM은 Llama2-7B를 기반으로 GPT-4보다 계획 품질 측면에서 평균 1.5%-93.9% 향상된 성능을 보였습니다.
