본 논문은 대규모 언어 모델(LLM) 기반의 자율 웹 에이전트의 능력을 종합적으로 평가하고, 기존 연구들의 낙관적인 결과와 현실 간의 격차를 분석합니다. 기존 벤치마크의 한계점을 지적하며, 136개 웹사이트에 걸친 300개의 다양하고 현실적인 작업으로 구성된 새로운 온라인 평가 벤치마크인 Online-Mind2Web을 제시합니다. 또한, 인간의 판단과 약 85%의 일치율을 보이는 새로운 LLM 기반 자동 평가 방법을 개발하여, 더욱 확장 가능한 평가 및 개발을 가능하게 합니다. 마지막으로, 현재 웹 에이전트의 강점과 한계를 비교 분석하여 향후 연구 방향을 제시합니다.