멀티모달 대규모 언어 모델(MLLM) 기반 GUI 에이전트는 작업 자동화에 큰 잠재력을 보이지만, 장기적인 작업에 어려움을 겪는 경우가 많다. 프로세스 보상 모델(PRM)은 추론 중에 중요한 프로세스 신호를 통해 이러한 에이전트를 안내할 수 있는 유망한 해결책이지만, GUI 도메인에 적용하는 것은 고유한 과제를 제시한다. 긴 기록 데이터를 가진 밀집된 인공 입력을 처리할 때 PRM은 "중간에 잊혀지는(lost in the middle)" 현상으로 어려움을 겪으며, 과도한 과거 컨텍스트가 현재 단계의 평가를 손상시킨다. 또한, 표준 PRM은 GUI 변화 인식을 하지 못하여, 정적인 평가를 제공하며, 이는 본질적으로 동적인 GUI 작업의 특성과 부합하지 않는다. 이러한 과제에 대응하기 위해, 우리는 역사적 컨텍스트를 지능적으로 처리하고 UI 상태 변화를 적극적으로 인식하여 표준 PRM보다 더 나은 프로세스 보상을 제공하도록 설계된 판사 에이전트인 GUI-PRA(GUI 작업용 프로세스 보상 에이전트)를 소개한다. 특히, "중간에 잊혀지는" 현상에 직접 대응하기 위해, 긴 히스토리에서 적절한 정보를 적극적으로 가져오는 관련성 기반 검색 모듈과 증가하는 상호 작용 데이터를 동적으로 요약하는 점진적 요약 모듈로 구성된 동적 메모리 메커니즘을 도입하여 모델이 관련 컨텍스트에 집중하도록 한다. 또한, UI 변화 인식 부족 문제를 해결하기 위해, 적응형 UI 인식 메커니즘을 도입했다. 이 메커니즘은 에이전트가 UI 상태 변화에 대해 추론하고, 근거가 있는 시각적 증거를 수집하기 위한 가장 적절한 도구를 동적으로 선택할 수 있도록 하여, 평가가 항상 현재 UI 컨텍스트에 의해 정보를 받도록 한다.
