Retrieval-augmented generation (RAG)은 개방형 질의응답 과제에서 뛰어난 성능을 보이지만, 기존 검색 엔진은 피상적인 정보만 검색하여 복잡하고 다층적인 정보를 처리하는 LLM의 능력을 제한합니다. 본 논문에서는 LLM의 웹 탐색 능력을 평가하기 위한 벤치마크인 WebWalkerQA를 제시합니다. WebWalkerQA는 웹사이트의 하위 페이지를 탐색하여 고품질 데이터를 체계적으로 추출하는 LLM의 능력을 평가합니다. 또한, 탐색-비평 패러다임을 통해 사람과 유사한 웹 탐색을 모방하는 다중 에이전트 프레임워크인 WebWalker를 제안합니다. 실험 결과, WebWalkerQA는 어려운 과제임을 보여주며, 실제 시나리오에서 수평 및 수직 통합을 통해 WebWalker와 결합된 RAG의 효과를 입증합니다.
시사점, 한계점
•
시사점:
◦
WebWalkerQA는 LLM의 웹 탐색 능력을 평가하는 새로운 벤치마크를 제공합니다.
◦
WebWalker는 RAG의 성능을 향상시키는 효과적인 다중 에이전트 프레임워크임을 보여줍니다.
◦
실제 시나리오에서 RAG와 WebWalker의 수평 및 수직 통합의 효과를 보여줍니다.
•
한계점:
◦
WebWalkerQA의 난이도와 실제 웹 환경과의 차이에 대한 추가적인 분석이 필요합니다.
◦
WebWalker의 확장성과 다양한 웹사이트 구조에 대한 적응력에 대한 추가적인 연구가 필요합니다.
