본 논문은 시각 장애 사용자를 위한 웹 접근성 향상을 목표로, 음성 제어 기반 웹 탐색 에이전트인 WebNav를 제안한다. WebNav는 ReAct 아키텍처와 생성형 AI를 활용하여 계층적 구조(전략적 계획을 담당하는 DIGNAV, 추상적 명령을 실행 가능한 동작으로 변환하는 Assistant Module, 저수준 상호 작용을 담당하는 Inference Module)로 구성된다. 핵심 요소인 동적 라벨링 엔진은 브라우저 확장 프로그램으로 구현되어 실시간으로 상호 작용 요소에 라벨을 생성하고 음성 명령과 DOM 구성 요소 간의 매핑을 만든다. 초기 평가 결과, WebNav는 기존의 화면 판독기보다 시각 장애 사용자의 작업 완료 정확도와 응답 시간 측면에서 우수한 성능을 보였다.
