본 논문은 자동차 인포테인먼트 시스템의 UI 업데이트와 디자인 다양성에 효과적으로 대응하기 위한 비전-언어 프레임워크를 제시한다. 998개 이미지와 4,208개 주석으로 구성된 오픈소스 데이터셋 AutomotiveUI-Bench-4K를 공개하고, 합성 데이터 파이프라인을 통해 학습 데이터를 생성한다. Molmo-7B 기반 모델을 LoRa를 사용하여 미세 조정하고, 파이프라인에서 생성된 추론, 시각적 기반, 평가 기능을 통합하여 ELAM(Evaluative Large Action Model)을 개발한다. ELAM은 AutomotiveUI-Bench-4K에서 우수한 성능을 보이며, 특히 ScreenSpot 과제에서 기준 모델 대비 5.2% 향상된 80.4%의 평균 정확도를 달성, 데스크톱, 모바일, 웹용 특수 모델과 유사하거나 능가하는 성능을 보인다. 본 연구는 데이터 수집 및 미세 조정을 통한 자동차 UI 이해 및 상호 작용 분야의 AI 발전 가능성을 제시하며, 비용 효율적인 방법으로 소비자급 GPU에서도 배포 가능한 모델을 제공한다.
