Dans cet article, nous présentons Aria-UI, un nouveau modèle multimodal à grande échelle pour agents numériques qui automatise les tâches en manipulant directement des interfaces graphiques sur diverses plateformes. Aria-UI relève le défi de relier les instructions de langage aux éléments cibles en adoptant une approche purement visuelle, sans recourir aux entrées HTML ou AXTree. Il s'adapte aux instructions de plan hétérogènes grâce à un pipeline de données évolutif qui génère des échantillons d'instructions diversifiés et de haute qualité, et améliore l'inférence contextuelle en intégrant des historiques de tâches mixtes texte et texte-image pour gérer le contexte dynamique lors de l'exécution des tâches. Les résultats expérimentaux montrent qu'Aria-UI atteint des performances de pointe sur les bancs d'essai d'agents hors ligne et en ligne, surpassant les modèles existants basés uniquement sur la vision et AXTree. Toutes les données d'entraînement et les points de contrôle du modèle sont accessibles au public.
