본 논문은 그래픽 사용자 인터페이스(GUI)와 같은 합성 이미지에서의 시각적 그라운딩 문제를 해결하는 Instruction Visual Grounding (IVG) 방법을 제안합니다. 기존의 시각적 그라운딩 연구가 주로 사실적인 이미지에 집중한 것과 달리, 본 논문은 자연어 명령어와 GUI 화면을 입력받아 명령어 실행 대상 요소의 좌표를 찾는 데 초점을 맞춥니다. 이를 위해 LLMs, 객체 탐지 모델, OCR 모듈을 결합한 IVGocr과, 다중 모드 아키텍처를 사용한 end-to-end 접근 방식인 IVGdirect 두 가지 방법을 제안하며, 각 방법에 대한 전용 데이터셋을 함께 공개합니다. 또한, 기존의 CPS 지표를 완화한 새로운 평가 지표인 CPV를 제시하고, 최종 테스트 데이터셋을 공개하여 향후 연구를 지원합니다.
