An Illusion of Progress? Assessing the Current State of Web Agents
Created by
Haebom
저자
Tianci Xue, Weijian Qi, Tianneng Shi, Chan Hee Song, Boyu Gou, Dawn Song, Huan Sun, Yu Su
개요
본 논문은 대규모 언어 모델(LLM) 기반 자율 웹 에이전트의 능력을 정확하게 측정하고 모니터링하는 중요성을 강조하며, 기존 연구에서 제시된 결과에 대한 과도한 낙관론을 지적합니다. 기존 벤치마크의 단점을 해결하기 위해 136개 웹사이트에 걸쳐 300개의 다양하고 현실적인 작업으로 구성된 온라인 평가 벤치마크인 Online-Mind2Web을 제시합니다. 또한, 더욱 확장 가능한 평가 및 개발을 위해 LLM-as-a-Judge라는 새로운 자동 평가 방법을 개발하여, 인간의 판단과 약 85%의 일치율을 달성함을 보여줍니다. 마지막으로, 현재 웹 에이전트의 강점과 한계를 강조하는 최초의 종합적인 비교 분석을 제시하여 향후 연구를 위한 영감을 제공합니다.
시사점, 한계점
•
시사점:
◦
기존 웹 에이전트 성능 평가의 과도한 낙관론을 지적하고, 더욱 현실적이고 엄격한 평가 기준의 필요성을 제시합니다.
◦
실제 사용자 환경을 반영한 Online-Mind2Web 벤치마크를 제공하여 웹 에이전트의 성능 평가를 개선합니다.
◦
인간 판단과 높은 일치율을 보이는 LLM-as-a-Judge 자동 평가 방법을 개발하여 웹 에이전트 개발 및 평가의 효율성을 높입니다.
◦
현재 웹 에이전트의 강점과 한계를 종합적으로 분석하여 향후 연구 방향을 제시합니다.
•
한계점:
◦
Online-Mind2Web 벤치마크의 범위가 제한적일 수 있으며, 더욱 다양한 웹사이트와 작업 유형을 포함할 필요가 있을 수 있습니다.
◦
LLM-as-a-Judge 자동 평가 방법의 정확도는 여전히 인간의 판단에 미치지 못하며, 더욱 개선될 필요가 있습니다.
◦
본 논문에서 분석한 웹 에이전트의 종류가 제한적일 수 있으며, 더욱 광범위한 에이전트를 포함한 연구가 필요할 수 있습니다.
