본 논문은 기업 환경에서 복잡하고 실시간적인 웹 탐색 작업을 자동화하는 데 LLM 기반 웹 에이전트를 활용합니다. 기존의 지도 학습 기반 미세 조정(SFT)에 의존하는 웹 에이전트는 웹 상호 작용의 본질적인 역동성을 처리할 때 추론 능력이 부족하여 일반화 및 강건성에 어려움을 겪는다는 점을 지적합니다. 본 연구에서는 규칙 기반 R1 스타일 강화 학습 프레임워크를 사용하여 훈련된 LLM 기반 웹 에이전트인 WorkForceAgent-R1을 제시합니다. 이는 비즈니스 중심의 웹 탐색 작업을 위한 단일 단계 추론 및 계획을 향상시키도록 설계되었습니다. 출력 형식 준수 및 작업 정확성을 평가하는 구조화된 보상 함수를 사용하여 WorkForceAgent-R1이 명시적인 주석이나 광범위한 전문가 데모 없이 암묵적으로 강력한 중간 추론을 학습할 수 있도록 합니다. WorkArena 벤치마크에 대한 광범위한 실험 결과, WorkForceAgent-R1은 SFT 기준 모델보다 10.26~16.59% 더 나은 성능을 달성하며, 작업장 중심 웹 탐색 작업에서 독점적인 LLM 기반 에이전트(gpt-4o)와 비교하여 경쟁력 있는 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
규칙 기반 강화 학습을 통해 LLM 기반 웹 에이전트의 추론 및 계획 능력 향상 가능성을 제시.
◦
명시적인 주석이나 데모 없이 강건한 중간 추론 학습 가능성을 보여줌.
◦
기존 SFT 기반 모델 대비 성능 향상을 실험적으로 입증.
◦
작업장 중심 웹 탐색 작업에서 독점적인 LLM 기반 에이전트와 경쟁력 있는 성능을 달성.
•
한계점:
◦
WorkArena 벤치마크에 대한 성능 평가만 제시되어 실제 다양한 환경에서의 일반화 성능 검증 필요.
◦
R1 스타일 강화 학습 프레임워크의 특성으로 인해 학습 과정의 효율성 및 안정성에 대한 추가적인 분석 필요.
◦
사용된 보상 함수의 설계가 특정 작업에 편향될 가능성 존재. 더욱 일반적인 보상 함수 설계 방안 연구 필요.
