इस शोधपत्र में, हम डिजिटल एजेंटों के लिए एक नवीन, बड़े पैमाने का मल्टीमॉडल मॉडल, Aria-UI प्रस्तुत करते हैं, जो विभिन्न प्लेटफ़ॉर्म पर GUI में सीधे हेरफेर करके कार्यों को स्वचालित करता है। Aria-UI, HTML या AXTree इनपुट पर निर्भर हुए बिना, विशुद्ध रूप से विज़न दृष्टिकोण अपनाकर, भाषा निर्देशों को लक्ष्य तत्वों से जोड़ने की चुनौती का समाधान करता है। यह एक स्केलेबल डेटा पाइपलाइन के माध्यम से विषम योजना निर्देशों के अनुकूल होता है जो विविध और उच्च-गुणवत्ता वाले निर्देश नमूने उत्पन्न करता है, और कार्य निष्पादन के दौरान गतिशील संदर्भ को संभालने के लिए मिश्रित टेक्स्ट और टेक्स्ट-इमेज कार्य इतिहास को एकीकृत करके संदर्भ-जागरूक अनुमान को बढ़ाता है। प्रायोगिक परिणाम दर्शाते हैं कि Aria-UI ऑफ़लाइन और ऑनलाइन, दोनों एजेंट बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है, और मौजूदा विज़न-ओनली और AXTree-आधारित मॉडलों से बेहतर प्रदर्शन करता है। सभी प्रशिक्षण डेटा और मॉडल चेकपॉइंट सार्वजनिक रूप से उपलब्ध हैं।
