본 논문은 대규모 언어 모델(LLM)과 실시간 음성 인식을 활용하여 자연어로 GUI 작업을 수행하고, 그에 따른 시스템 응답을 GUI를 통해 직접 수신할 수 있도록 하는 아키텍처를 제시합니다. 이 아키텍처는 Model Context Protocol (MCP)을 통해 애플리케이션의 탐색 그래프와 의미론을 제공하며, MVVM (Model-View-ViewModel) 패턴의 ViewModel을 통해 현재 보이는 뷰에 적용 가능한 도구와 GUI 트리 라우터에서 추출한 애플리케이션 전역 도구를 제공하여 음성 기반 접근성을 향상시킵니다. 또한, 로컬에서 배포 가능한 오픈 웨이트 LLM의 성능을 평가하여 개인 정보 보호 및 데이터 보안 문제를 해결하고, 빠른 응답 속도를 위한 하드웨어 요구 사항을 제시합니다.
