An Illusion of Progress? Assessing the Current State of Web Agents
Created by
Haebom
저자
Tianci Xue, Weijian Qi, Tianneng Shi, Chan Hee Song, Boyu Gou, Dawn Song, Huan Sun, Yu Su
개요
본 논문은 대규모 언어 모델(LLM) 기반 자율 웹 에이전트의 능력을 정확하게 측정하고 모니터링하는 것의 중요성을 강조하며, 기존 연구에서 제시된 결과에 대한 과도한 낙관론을 지적합니다. 기존 벤치마크의 단점을 지적하고, 136개 웹사이트에 걸쳐 300개의 다양하고 현실적인 작업으로 구성된 온라인 평가 벤치마크인 Online-Mind2Web을 제시합니다. 더욱 확장 가능한 평가 및 개발을 위해 LLM-as-a-Judge라는 새로운 자동 평가 방법을 개발하여, 인간 판단과 약 85%의 일치율을 달성함을 보여줍니다. 마지막으로, 현재 웹 에이전트의 장점과 한계를 강조하는 최초의 종합적인 비교 분석을 제시하여 향후 연구를 위한 영감을 제공합니다.
시사점, 한계점
•
시사점:
◦
기존 웹 에이전트 성능 평가의 과도한 낙관론을 지적하고, 더욱 현실적이고 엄격한 평가 기준의 필요성을 제시.
◦
Online-Mind2Web 벤치마크를 통해 현실적인 웹 사용 환경에서 웹 에이전트의 성능을 평가할 수 있는 기반 마련.
◦
LLM-as-a-Judge 자동 평가 방법을 통해 더욱 확장 가능하고 효율적인 웹 에이전트 평가 가능.
◦
현재 웹 에이전트의 강점과 한계를 종합적으로 분석하여 향후 연구 방향 제시.
•
한계점:
◦
Online-Mind2Web 벤치마크의 범위와 일반화 가능성에 대한 추가적인 검증 필요.
◦
LLM-as-a-Judge 자동 평가 방법의 정확도 향상 및 신뢰성 확보 위한 추가 연구 필요.
◦
본 논문에서 분석된 웹 에이전트의 종류가 제한적일 수 있음. 다양한 유형의 에이전트에 대한 분석 필요.
