본 논문은 대규모 언어 모델(LLM) 기반 웹 브라우징 에이전트의 성능을 평가하기 위한 새로운 벤치마크인 WebChoreArena를 소개합니다. WebChoreArena는 기존의 WebArena를 확장하여 단순 웹 브라우징을 넘어, 인간이 지루해하거나 피하는 복잡하고 노동 집약적인 작업들을 포함하는 532개의 과제로 구성됩니다. 세 가지 주요 과제 – (i) 방대한 정보 검색이 필요한 대용량 메모리 작업, (ii) 정확한 수학적 추론을 요구하는 계산 작업, (iii) 여러 웹페이지에 걸쳐 장기 메모리가 필요한 장기 메모리 작업 – 를 체계적으로 통합하여 LLM의 성능을 더욱 정확하게 평가할 수 있도록 설계되었습니다. GPT-4o, Claude 3.7 Sonnet, Gemini 2.5 Pro 등의 최신 LLM을 이용한 실험 결과, WebChoreArena에서 성능 향상이 관찰되었지만, 여전히 개선의 여지가 크다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
WebChoreArena는 LLM의 성능을 더욱 명확하게 측정할 수 있는 새로운 벤치마크를 제공합니다.
◦
LLM의 발전에 따라 WebChoreArena에서 성능 향상이 관찰됨을 보여줍니다.
◦
WebChoreArena는 단순 웹 브라우징 이상의 복잡하고 노동 집약적인 작업 수행 능력을 평가하는 데 유용합니다.
◦
WebArena와의 직접적인 비교를 통해 에이전트의 발전 상황을 명확하게 파악할 수 있습니다.
•
한계점:
◦
최신 LLM인 Gemini 2.5 Pro조차도 WebChoreArena에서 여전히 상당한 개선의 여지가 있음을 보여줍니다.
◦
WebChoreArena의 과제 난이도가 높아, LLM의 성능 향상을 위한 추가적인 연구가 필요합니다.
