HyFunc: Accelerating LLM-based Function Calls for Agentic AI through Hybrid-Model Cascade and Dynamic Templating

Created by

Haebom

저자

Weibin Liao, Jian-guang Lou, Haoyi Xiong

💡 개요

본 논문은 에이전트 AI에서 LLM 기반 함수 호출 시 발생하는 계산상의 비효율성을 해결하기 위해 HyFunc라는 프레임워크를 제안합니다. HyFunc는 대규모 모델이 사용자 의도를 "소프트 토큰"으로 압축하고, 이를 기반으로 경량 모델이 함수를 선택하고 호출을 생성하도록 하여 추론 지연 시간을 크게 단축합니다. 또한, 동적 템플릿 기능을 통해 불필요한 구문 생성을 제거하여 효율성과 성능을 동시에 높입니다.

🔑 시사점 및 한계

•

에이전트 AI에서 LLM 기반 함수 호출의 비효율성을 체계적으로 제거하여 실시간 애플리케이션의 성능을 향상시킬 수 있습니다.

•

하이브리드 모델 캐스케이드와 동적 템플릿 기술은 기존 방법 대비 훨씬 빠른 추론 속도와 높은 정확도를 달성하여 효율적인 에이전트 AI 구축을 위한 새로운 패러다임을 제시합니다.

•

제안된 방법론이 보지 못한 데이터셋에서도 우수한 일반화 성능을 보였으나, 특정 유형의 함수 호출이나 복잡한 의도 해석에서의 성능은 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage