본 논문은 Vision-language-action (VLA) 모델이 일반화된 내재적 제어를 달성하기 위해, 대규모 Vision-Language Model (VLM)의 시각-의미론적 사전 지식을 효과적으로 활용하는 방법을 연구한다. 이를 위해, 로봇 팔이 언어 지시에 따라 인쇄된 이모티콘 위에 물체를 배치하는 'GrinningFace'라는 진단 벤치마크를 개발했다. 이 벤치마크는 VLM 사전 학습에 사용되는 인터넷 규모 데이터셋에 이모티콘 관련 지식이 풍부하지만, 기존 로봇 데이터셋에는 이모티콘이 거의 없다는 점을 활용하여 VLM 사전 지식의 효과적인 전이를 측정한다. 시뮬레이션 환경과 실제 로봇에서 이 벤치마크를 구현하고, 파라미터 효율적 미세 조정, VLM 고정, 공동 학습, 이산화된 행동 예측, 잠재적 행동 예측 등 다양한 기술을 비교 분석한다.
