Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

VideoGameBench: Can Vision-Language Models complete popular video games?

Created by
  • Haebom

저자

Alex L. Zhang, Thomas L. Griffiths, Karthik R. Narasimhan, Ofir Press

개요

본 논문은 비전-언어 모델(VLMs)의 인간과 같은 지각, 공간 탐색, 기억 관리 능력을 평가하기 위해 1990년대 인기 비디오 게임 10개로 구성된 새로운 벤치마크인 VideoGameBench를 제시합니다. VLMs는 원시 시각 입력과 목표 및 조작에 대한 고차원 설명만으로 게임을 진행해야 하며, 기존 벤치마크와 달리 게임 특정 지원이나 보조 정보에 의존하지 않습니다. 게임 중 3개는 비공개로 유지되어 일반화 능력을 평가합니다. 실험 결과, 최첨단 VLMs는 게임 초반을 넘어서지 못하며, 실시간 상황에서 추론 지연이 주요 제한 요소임을 밝힙니다. 이를 위해 게임이 LM의 다음 행동을 기다리는 동안 일시 정지되는 VideoGameBench Lite도 제시합니다. 최고 성능 모델인 Gemini 2.5 Pro조차 VideoGameBench에서 0.48%, VideoGameBench Lite에서 1.6%만 완료했습니다. 본 연구는 인간의 능력을 벤치마크로 공식화하여 해당 연구 분야의 발전을 촉진하고자 합니다.

시사점, 한계점

시사점:
VLMs의 인간적 능력(지각, 공간 탐색, 기억 관리)에 대한 새로운 평가 기준 제시.
실제 게임 환경을 활용한 현실적인 벤치마크 제공.
최첨단 VLMs의 한계를 명확히 제시하여 향후 연구 방향 제시.
한계점:
최첨단 VLMs의 성능이 매우 낮음 (VideoGameBench에서 0.48%, VideoGameBench Lite에서 1.6% 완료).
실시간 추론 지연이 VLMs 성능 저하의 주요 원인으로 확인됨.
게임의 복잡성과 다양성이 VLMs 성능 평가에 영향을 미칠 수 있음.
비공개 게임 3개의 존재가 일반화 성능 평가에 대한 편향을 유발할 수 있음.
👍