본 논문에서는 기업 환경에서 복잡하고 실시간적인 웹 탐색 작업을 자동화하는 데 사용되는 대규모 언어 모델(LLM) 기반 웹 에이전트를 제시합니다. 기존의 지도 학습 기반 미세 조정(SFT)에 의존하는 웹 에이전트들은 웹 상호 작용의 본질적인 역동성을 처리할 때 추론 능력이 부족하여 일반화 및 강건성에 어려움을 겪는다는 점에 착안하여, 본 연구에서는 규칙 기반 R1 스타일 강화 학습 프레임워크를 사용하여 훈련된 LLM 기반 웹 에이전트인 WorkForceAgent-R1을 소개합니다. WorkForceAgent-R1은 단일 단계 추론 및 계획 능력을 향상시키도록 설계되었으며, 출력 형식 준수와 작업 정확성을 모두 평가하는 구조화된 보상 함수를 사용하여 명시적인 주석이나 광범위한 전문가 시범 없이 강건한 중간 추론을 암묵적으로 학습할 수 있습니다. WorkArena 벤치마크에 대한 광범위한 실험 결과, WorkForceAgent-R1은 SFT 기준 모델보다 10.26~16.59% 향상된 성능을 보이며, 작업 환경 중심의 웹 탐색 작업에서 독점적인 LLM 기반 에이전트(gpt-4o)와 비교해 경쟁력 있는 성능을 달성했습니다.
