본 논문은 자동차 인포테인먼트 시스템의 다양한 UI 디자인 변화에 적응할 수 있는 비전-언어 프레임워크를 제시한다. 998개 이미지와 4,208개의 어노테이션으로 구성된 오픈소스 데이터셋 AutomotiveUI-Bench-4K를 공개하고, 합성 데이터 파이프라인을 통해 학습 데이터를 생성한다. Molmo-7B 기반 모델을 LoRa를 이용하여 미세 조정하고, 파이프라인에서 생성된 추론, 시각적 기반, 평가 기능을 통합하여 ELAM(Evaluative Large Action Model)을 개발하였다. ELAM은 AutomotiveUI-Bench-4K에서 우수한 성능을 보이며, 특히 ScreenSpot 과제에서 기준 모델 대비 +5.6% 향상된 80.8%의 평균 정확도를 달성, 데스크탑, 모바일, 웹용 특화 모델과 유사하거나 뛰어넘는 성능을 보였다. 본 연구는 데이터 수집 및 미세 조정을 통한 자동차 UI 이해 및 상호 작용 분야의 AI 발전 방향을 제시하며, 비용 효율적인 방법으로 소비자급 GPU에서도 배포 가능한 모델을 제공한다.
