Este artículo propone NaturalGAIA, un nuevo punto de referencia basado en el principio de vías causales (CPA), para abordar las limitaciones de precisión, reproducibilidad y escalabilidad de los puntos de referencia de evaluación existentes que dificultan el desarrollo de agentes de interfaz gráfica de usuario (GUI) basados en modelos de lenguaje (LLM) a gran escala. NaturalGAIA proporciona criterios de evaluación rigurosos, totalmente automatizados y reproducibles mediante la estructuración de tareas complejas en una serie de pasos atómicos verificables programáticamente. Además, para mitigar las fallas funcionales inherentes de los agentes, desarrollamos LightManus, una arquitectura de agente jerárquica optimizada para tareas a largo plazo. Esta arquitectura se utiliza para generar un conjunto de datos de alta calidad validado por humanos que captura los diversos patrones de interacción autocorrectivos de los LLM. Con este conjunto de datos, realizamos un ajuste fino mediante aprendizaje por refuerzo (RFT) en el modelo Qwen2.5-VL-7B. Los resultados experimentales demuestran que NaturalGAIA presenta desafíos significativos incluso para los LLM más avanzados. El modelo de mejor rendimiento, Claude-sonnet-4, alcanzó una tasa de éxito de ruta ponderada (WPSR) de tan solo el 34,6 %. Si bien RFT mejoró la capacidad de ejecución de la interfaz gráfica de usuario (GUI) de modelos pequeños (la WPSR aumentó del 3,3 % al 10,8 %), el rendimiento se degradó significativamente en escenarios complejos, lo que demuestra las limitaciones inherentes de rendimiento de los modelos pequeños al enfrentarse a tareas integrales que integran percepción, toma de decisiones y ejecución. Este estudio proporciona criterios de evaluación rigurosos y un conjunto de datos de alta calidad, que ofrecen orientación para el desarrollo futuro de agentes GUI.
