Demystifying and Enhancing the Efficiency of Large Language Model Based Search Agents
Created by
Haebom
저자
Tiannuo Yang, Zebin Yao, Bowen Jin, Lixiao Cui, Yusen Li, Gang Wang, Xiaoguang Liu
개요
본 논문은 대규모 언어 모델(LLM) 기반 검색 에이전트의 효율성을 높이는 새로운 프레임워크인 SearchAgent-X를 제시합니다. 기존 LLM 기반 검색 에이전트는 문제를 동적으로 분해하고 추론과 검색을 반복적으로 수행하여 복잡한 문제를 해결하는 능력을 보여주었지만, 이러한 반복적인 패러다임으로 인해 상당한 효율성 저하가 발생합니다. SearchAgent-X는 정확도가 높지만 오버헤드가 큰 정확한 검색과 부정확하지만 추가적인 추론 단계가 필요한 대략적인 검색의 문제점을 해결하기 위해 고재현율 근사 검색을 활용합니다. 또한, 우선순위 인식 스케줄링과 비정체 검색 기술을 도입하여 시스템 설계의 비효율성을 개선합니다. 실험 결과, SearchAgent-X는 vLLM 및 HNSW 기반 검색과 같은 최첨단 시스템보다 최대 3.4배 높은 처리량과 5배 낮은 대기 시간을 달성하며 생성 품질 저하 없이 성능을 향상시키는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 검색 에이전트의 효율성을 크게 향상시키는 새로운 프레임워크인 SearchAgent-X를 제시.
◦
고재현율 근사 검색, 우선순위 인식 스케줄링, 비정체 검색을 통해 기존 시스템의 처리량과 대기 시간 문제를 해결.
