PATHWAYS: Evaluating Investigation and Context Discovery in AI Web Agents

Created by

Haebom

저자

Shifat E. Arman, Syed Nazmus Sakib, Tapodhir Karmakar Taton, Nafiul Haque, Shahrear Bin Amin

💡 개요

본 논문은 웹 기반 AI 에이전트가 숨겨진 맥락 정보를 발견하고 활용하는 능력을 평가하기 위한 250가지 다단계 의사 결정 작업으로 구성된 PATHWAYS 벤치마크를 제안합니다. 연구 결과, 에이전트들은 관련 페이지를 잘 탐색하지만, 결정적인 숨겨진 증거를 찾는 비율은 낮았으며, 오도하는 표면적 신호를 극복해야 하는 작업에서는 정확도가 현저히 떨어졌습니다.

🔑 시사점 및 한계

•

웹 에이전트가 탐색 과정에서 맥락 정보를 효과적으로 발견하고 활용하는 데 어려움을 겪고 있음을 보여줍니다.

•

에이전트들이 잘못된 정보에 기반한 추론을 생성하거나, 발견한 정보를 최종 의사 결정에 통합하지 못하는 문제를 지적합니다.

•

명시적인 지시를 추가하는 것이 맥락 발견에는 도움이 되지만, 전반적인 정확도를 저해할 수 있어 절차 준수와 효과적인 판단 사이의 절충점이 존재함을 시사합니다.

•

현재 웹 에이전트 구조는 적응적 탐색, 증거 통합, 판단 재고를 위한 신뢰할 수 있는 메커니즘이 부족하며, 이는 향후 연구에서 이러한 부분을 개선할 필요가 있음을 나타냅니다.

PDF 보기

Made with Slashpage