본 논문은 대규모 언어 모델(LLM) 기반 자율 웹 에이전트의 평가에 대한 어려움을 해결하기 위해, arXiv 플랫폼을 기반으로 한 정적이고 시간 불변적인 벤치마크인 WebArXiv를 제시합니다. WebArXiv는 고정된 웹 스냅샷과 결정론적 기준 진실, 표준화된 동작 경로를 사용하여 재현 가능하고 신뢰할 수 있는 평가를 보장합니다. 논문은 에이전트들이 과거 상호작용 기록에 과도하게 의존하는 "Rigid History Reflection"이라는 일반적인 실패 모드를 확인하고, 이를 해결하기 위해 의사결정 과정에서 관련된 과거 단계를 선택적으로 검색할 수 있는 경량 동적 반영 메커니즘을 제안합니다. 10개의 최첨단 웹 에이전트를 WebArXiv에서 평가하여 에이전트 간 성능 차이를 보여주고 제안된 반영 전략의 효과를 검증합니다.
