화면을 눈으로 보고 직접 누르는 AI — 큐원 UI 에이전트
작성자
데이브
작성시각
카테고리
Empty
참여자
최근활동
데이브
무슨 일이 있었나요?
중국 알리바바의 AI 연구 조직(통이 랩)이 큐원 UI 에이전트(Qwen-UI-Agent) 를 공개했고, 8월 넷째 주 들어 AI 업계에서 크게 화제가 됐습니다. 기술 보고서는 논문 공개 사이트 arXiv에, 코드는 깃허브(GitHub)에 올라와 있습니다.
이 AI의 특징은 화면을 직접 보고 조작한다는 점입니다. 스마트폰이든 PC든 웹브라우저든, 지금 화면에 무엇이 떠 있는지 스스로 알아보고 버튼을 누르고 글자를 입력하고 스크롤을 내리면서 여러 단계짜리 일을 끝까지 해냅니다.
성적도 구체적으로 공개됐습니다. 실제 기기에서 100개가 넘는 앱, 400개 이상의 과제로 시험하는 MobileWorld-Real 평가에서 92.2% 성공률을 기록했는데, 이는 구글 제미나이 3.1 프로보다 6.0%p, 클로드 오퍼스 4.8보다 7.5%p, GPT-5.6 Sol보다 6.8%p 높은 수치입니다. 그 밖에 안드로이드 일상 작업(AndroidDaily) 97.5%, PC 환경(OSWorld-Verified) 79.5%, 웹 작업(WebArena) 73.6%, 화면 요소 찾기(ScreenSpot-Pro) 81.5%를 기록했습니다.
쉽게 말하면?
지금까지 AI가 앱을 다루려면, 그 앱이 미리 만들어 둔 뒷문(연동 통로) 이 필요했습니다. 뒷문이 없는 앱은 AI가 손도 못 댔죠. 그런데 이 AI는 사람처럼 앞문으로 들어가 눈으로 화면을 보고 손으로 누릅니다. 열쇠를 따로 받을 필요가 없는 겁니다.
왜 주목할까?
이 방식이 중요한 이유는 연동이 안 된 앱도 자동화할 수 있다는 데 있습니다. 회사 내부 시스템, 오래된 관공서 사이트, 연동 기능이 아예 없는 모바일 앱처럼 지금까지 자동화의 사각지대였던 곳들이 대상에 들어옵니다.
또 하나 눈여겨볼 대목은 실제 기기에서 92% 라는 숫자입니다. 그동안 이런 화면 조작 AI는 시연 영상에서는 그럴듯한데 진짜 폰에서 돌리면 자주 헤매는 게 문제였습니다. 실기기 평가에서 90%를 넘겼다는 건, 재미있는 실험 단계를 넘어 실제로 써 볼 만한 수준에 근접했다는 뜻입니다. 게다가 코드가 공개돼 있어 다른 개발자들이 곧바로 가져다 응용할 수 있습니다.
물론 반대편에는 보안 문제가 있습니다. 화면을 보고 아무 버튼이나 누를 수 있다는 건, 잘못 작동했을 때 막을 방법도 그만큼 줄어든다는 뜻이니까요. AI에게 화면 조작 권한을 어디까지 줄 것인지가 앞으로의 숙제가 될 겁니다.
이런 분들에게 유용해요
반복되는 화면 작업(같은 사이트에 매일 같은 값 입력하기, 여러 앱을 오가며 자료 옮기기)에 시간을 뺏기는 분, 그리고 쓰는 도구가 자동화 연동을 지원하지 않아 포기했던 분들이 주목할 만한 소식입니다.
용어 정리
•
GUI 에이전트: 화면에 보이는 버튼·메뉴를 사람처럼 직접 보고 눌러서 일을 처리하는 AI.
•
벤치마크: 여러 AI를 같은 문제로 시험해 성능을 비교하는 표준 시험지.
•
연동 통로(API): 프로그램끼리 데이터를 주고받도록 미리 열어 둔 통로. 이게 없으면 외부 프로그램은 그 앱을 다룰 수 없습니다.
•
오픈소스: 코드를 공개해 누구나 보고 고쳐 쓸 수 있게 한 방식.
출처
🥕 Carrot Letter | AI & 생산성 도구 뉴스
