NESTFUL: A Benchmark for Evaluating LLMs on Nested Sequences of API Calls
Created by
Haebom
저자
Kinjal Basu, Ibrahim Abdelaziz, Kiran Kate, Mayank Agarwal, Maxwell Crouse, Yara Rizk, Kelsey Bradford, Asim Munawar, Sadhana Kumaravel, Saurabh Goyal, Xin Wang, Luis A. Lastras, Pavan Kapanipathi
개요
본 논문은 대규모 언어 모델(LLM) 기반 자율 에이전트가 복잡한 실제 문제를 해결하는 데 사용되는 도구 또는 함수 호출 능력에 초점을 맞추고 있습니다. 특히, 하나의 API 호출 결과가 다음 호출의 입력으로 사용되는 중첩 시퀀스(nested sequences)에 대한 평가를 위한 새로운 벤치마크 NESTFUL을 제시합니다. NESTFUL은 실행 가능한 1800개 이상의 중첩 시퀀스를 포함하며, 다양한 모델에 대한 실험 결과를 통해 최고 성능 모델(GPT-4o)조차도 완전 일치 정확도 28%, 승률 60%에 그침을 보여줍니다. 이는 함수 호출의 중첩 시퀀스 측면에서 상당한 개선 여지가 있음을 시사하며, 향후 연구 방향을 제시하고 진행 상황을 추적하기 위한 벤치마크를 제공합니다. NESTFUL 데이터셋은 Apache 2.0 라이선스 하에 공개되었습니다.
시사점, 한계점
•
시사점:
◦
LLM의 함수 호출 능력, 특히 중첩 시퀀스 처리 능력에 대한 평가를 위한 새로운 벤치마크 NESTFUL 제시.
◦
현재 LLM의 중첩 시퀀스 처리 능력의 한계를 명확히 제시하고 향후 연구 방향 제시.
◦
실행 가능한 중첩 API 호출 시퀀스를 포함하는 대규모 데이터셋 제공.
•
한계점:
◦
최고 성능 모델의 정확도가 여전히 낮아(28% 정확도, 60% 승률), LLM의 중첩 시퀀스 처리 능력 향상에 대한 필요성을 강조.
◦
NESTFUL이 중첩 시퀀스에만 집중하여 LLM의 함수 호출 능력의 다른 측면은 고려하지 않을 수 있음.
