Tengxiao Liu, Zifeng Wang, Jin Miao, I-Hung Hsu, Jun Yan, Jiefeng Chen, Rujun Han, Fangyuan Xu, Yanfei Chen, Ke Jiang, Samira Daruki, Yi Liang, William Yang Wang, Tomas Pfister, Chen-Yu Lee
개요
대규모 언어 모델(LLM)을 활용한 도구 사용 에이전트의 성능 향상을 위해, 테스트 시 계산량을 늘리는 스케일링 기법을 연구합니다. 단순히 도구 호출 예산을 늘리는 것은 효과가 없음을 발견하고, 예산 인지 능력을 갖춘 에이전트 개발에 집중합니다. 구체적으로 웹 검색 에이전트를 대상으로, 예산 인지를 제공하는 "Budget Tracker"를 소개하고, 이를 활용하여 계획 및 검증 전략을 동적으로 조정하는 "BATS (Budget Aware Test-time Scaling)" 프레임워크를 개발합니다. 토큰 및 도구 사용을 고려한 통합 비용 메트릭을 정의하여, 예산 제약 조건 하에서 에이전트의 스케일링을 체계적으로 연구하며, 예산 인지 방법이 더 나은 스케일링 곡선을 생성하고 비용-성능 파레토 프론티어를 개선함을 보입니다.
시사점, 한계점
•
시사점:
◦
도구 사용 에이전트의 스케일링에서 예산 인지의 중요성을 제시했습니다.
◦
Budget Tracker를 통해 간단하면서도 효과적인 예산 인지 방법을 제시했습니다.
◦
BATS 프레임워크를 통해 동적 계획 및 검증 전략을 구현하여 성능을 향상시켰습니다.
◦
통합 비용 메트릭을 통해 비용-성능 분석의 체계성을 확보했습니다.
◦
예산 제약 조건 하에서 더 나은 스케일링 성능을 보이는 방법을 제시했습니다.
•
한계점:
◦
연구는 웹 검색 에이전트에 초점을 맞추어져, 다른 도구 사용 에이전트 유형으로의 일반화 가능성에 대한 추가 연구가 필요합니다.
