본 논문은 비전-언어 모델(VLMs)의 인간과 같은 지각, 공간 탐색, 기억 관리 능력을 평가하기 위해 1990년대 인기 비디오 게임 10개로 구성된 새로운 벤치마크인 VideoGameBench를 제시합니다. VLMs는 원시 시각 정보와 목표 및 조작에 대한 상위 수준 설명만으로 게임을 진행해야 하며, 기존 벤치마크와 달리 게임 특화 지원이나 보조 정보 없이 실시간으로 게임과 상호 작용합니다. 3개의 게임은 비공개로 유지되어 일반화 능력을 평가합니다. 실험 결과, 최첨단 VLMs는 게임 초반을 넘어서지 못하며, 실시간 환경에서 추론 지연 시간이 주요 제약으로 작용함을 보여줍니다. 이를 해결하기 위해 게임이 LM의 다음 행동을 기다리는 동안 일시 정지되는 VideoGameBench Lite도 제시합니다. 최고 성능 모델인 Gemini 2.5 Pro조차 VideoGameBench에서 0.48%, VideoGameBench Lite에서 1.6%만 완료했습니다. 본 연구는 제시된 벤치마크를 통해 인간의 지각, 공간 탐색, 기억 관리 능력과 같은 연구 방향의 발전을 촉진하고자 합니다.
