Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LM Fight Arena: Benchmarking Large Multimodal Models via Game Competition

Created by
  • Haebom

저자

Yushuo Zheng, Zicheng Zhang, Xiongkuo Min, Huiyu Duan, Guangtao Zhai

LM Fight Arena: Mortal Kombat II를 활용한 대형 멀티모달 모델 평가

개요

본 논문은 대형 멀티모달 모델(LMM)의 실시간, 적대적 환경에서의 성능 평가를 위한 새로운 프레임워크인 LM Fight Arena(Large Model Fight Arena)를 소개합니다. LM Fight Arena는 고전 격투 게임인 Mortal Kombat II에서 LMM을 서로 대결시키는 방식으로 평가를 진행합니다. 이는 빠른 시각적 이해와 전술적, 순차적 의사 결정을 요구하는 과제입니다. 본 연구에서는 6개의 선도적인 오픈 소스 및 클로즈드 소스 모델을 대상으로 제어된 토너먼트를 진행하여 각 에이전트가 동일한 캐릭터를 제어하도록 하여 공정한 비교를 수행했습니다. 모델은 게임 프레임과 상태 데이터를 해석하여 다음 액션을 선택하도록 프롬프트 됩니다. LM Fight Arena는 정적 평가와 달리, 동적 환경에서 LMM의 전략적 추론 능력을 완전 자동화되고, 재현 가능하며, 객관적으로 평가합니다. 이 연구는 AI 평가와 대화형 엔터테인먼트 사이의 격차를 좁히는 도전적이고 매력적인 벤치마크를 제시합니다.

시사점, 한계점

시사점:
실시간, 적대적 환경에서 LMM의 성능을 평가하는 새로운 프레임워크 제시.
전략적 추론 능력 평가를 위한 동적이고 도전적인 벤치마크 제공.
오픈 소스 및 클로즈드 소스 모델의 공정한 비교를 위한 자동화된 평가 방법론 제시.
AI 평가와 대화형 엔터테인먼트의 융합 가능성 제시.
한계점:
특정 게임(Mortal Kombat II)에 국한된 벤치마크로, 다른 유형의 게임이나 환경으로의 일반화가 필요할 수 있음.
평가에 사용된 모델의 종류가 제한적일 수 있음.
모델의 성능을 향상시키기 위한 구체적인 지침이나 개선 방안에 대한 정보 부족.
👍