Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

An Illusion of Progress? Assessing the Current State of Web Agents

Created by
  • Haebom

저자

Tianci Xue, Weijian Qi, Tianneng Shi, Chan Hee Song, Boyu Gou, Dawn Song, Huan Sun, Yu Su

개요

본 논문은 대규모 언어 모델(LLM) 기반의 자율 웹 에이전트의 능력을 종합적으로 평가하고, 기존 연구들의 낙관적인 결과와 현실 간의 격차를 분석합니다. 기존 벤치마크의 한계점을 지적하며, 136개 웹사이트에 걸친 300개의 다양하고 현실적인 작업으로 구성된 새로운 온라인 평가 벤치마크인 Online-Mind2Web을 제시합니다. 또한, 인간의 판단과 약 85%의 일치율을 보이는 새로운 LLM 기반 자동 평가 방법을 개발하여, 더욱 확장 가능한 평가 및 개발을 가능하게 합니다. 마지막으로, 현재 웹 에이전트의 강점과 한계를 비교 분석하여 향후 연구 방향을 제시합니다.

시사점, 한계점

시사점:
기존 웹 에이전트 성능 평가의 낙관적인 시각에 대한 재검토 필요성 제기
현실적인 웹 사용 환경을 반영한 새로운 벤치마크 Online-Mind2Web 제시
인간 수준의 정확도를 가진 LLM 기반 자동 평가 방법 개발
웹 에이전트의 강점과 한계에 대한 종합적인 비교 분석 제공 및 향후 연구 방향 제시
한계점:
Online-Mind2Web 벤치마크의 범용성 및 장기적인 유지보수에 대한 검토 필요
LLM 기반 자동 평가 방법의 정확도 향상 및 신뢰도 확보를 위한 추가 연구 필요
평가 대상 웹 에이전트의 다양성 확보 및 최신 기술 동향 반영 필요
👍