Evaluating the Search Agent in a Parallel World

Created by

Haebom

저자

Jiawei Chen, Xintian Shen, Lihao Zheng, Lifu Mu, Haoyi Sun, Ning Mao, Hao Ma, Tao Wei, Pan Zhou, Kun Zhan

💡 개요

기존 LLM 기반 검색 에이전트 평가는 고품질 벤치마크 구축의 어려움, 인터넷 정보 변화로 인한 동적 문제, 파라미터 메모리에 의한 성능 과대평가, 상용 검색 엔진 의존성으로 인한 재현성 부족 등의 문제점을 안고 있습니다. 본 연구는 이러한 문제를 해결하기 위해 미래 시나리오와 지식 컷오프 이후의 질문을 바탕으로 원자적 사실과 고유한 정답을 생성하는 Mind-ParaWorld(MPW) 프레임워크를 제안합니다. MPW는 동적으로 생성된 검색 결과 페이지(SERP)와 상호작용하여 에이전트의 검색 및 추론 능력을 평가합니다.

🔑 시사점 및 한계

•

독창적인 미래 지향적 평가 프레임워크: 실제 인터넷 변화와 상관없이 미래 시나리오를 기반으로 일관되고 신뢰할 수 있는 평가 환경을 구축합니다.

•

에이전트의 실제 검색 및 추론 능력 평가 강화: 파라미터 메모리 의존성을 줄이고, 동적 SERP 생성을 통해 에이전트의 증거 수집, 범위, 판단, 중단 결정 등의 능력을 보다 정확하게 측정합니다.

•

평가의 재현성 및 신뢰성 향상: 특정 상용 검색 엔진에 대한 의존도를 낮추고, 생성된 벤치마크를 통해 일관된 평가를 가능하게 합니다.

•

한계점: 현재 벤치마크는 19개 도메인, 1,608개의 인스턴스로 구성되어 있으며, 에이전트가 익숙하지 않은 검색 환경에서의 증거 수집 및 커버리지, 그리고 신뢰할 수 없는 증거 충분성 판단 및 중단 결정에 대한 성능 한계가 드러났습니다. 향후 더 광범위한 도메인과 복잡성을 포함하는 벤치마크 확장 및 에이전트의 각 구성 요소에 대한 심층적인 분석이 필요합니다.

PDF 보기

Made with Slashpage