본 논문은 최신 대규모 언어 모델(LLM)의 웹 검색 활용 효율성을 평가하는 벤치마크를 제시한다. 모델의 내부 상태나 파라미터에 접근하지 않고, 사전 지식으로 답할 수 있는 질문과 최신 정보를 요구하는 질문을 포함한 두 가지 유형의 질문 세트를 사용하여 웹 검색의 필요성과 효과를 분석한다. 실험 결과, 웹 검색은 모델의 정확도를 향상시키지만, 자신감 보정(confidence calibration)은 악화되는 경향을 보였다. 또한, 모델은 웹 검색을 자주 호출하지만, 쿼리 생성 능력 부족으로 정확도가 제한적이며, 초기 검색 실패 시 효과가 감소하는 것으로 나타났다.
