XGrammar-2: Efficient Dynamic Structured Generation Engine for Agentic LLMs

Created by

Haebom

저자

Linzhang Li, Yixin Dong, Guanjie Wang, Ziyi Xu, Alexander Jiang, Tianqi Chen

💡 개요

본 논문은 LLM 에이전트의 동적 구조 생성 요구에 대응하는 새로운 엔진인 XGrammar-2를 제안한다. XGrammar-2는 태그 기반 구조 전환과 다양한 출력 구조에 걸친 세밀한 캐시 재사용을 통해 효율성을 높인다. 이를 통해 기존 엔진 대비 6배 이상 빠른 컴파일 속도와 거의 제로에 가까운 엔드투엔드 오버헤드를 달성한다.

🔑 시사점 및 한계

•

LLM 에이전트의 동적 구조 생성 요구를 충족하는 효율적인 엔진 개발의 중요성.

•

태그 트리거 구조 전환 및 교차 문법 캐시 재사용을 통한 성능 향상 가능성.

•

실제 에이전트 시스템 통합 및 다양한 LLM 아키텍처에서의 추가적인 성능 검증 필요.

PDF 보기

Made with Slashpage