본 논문은 대규모 언어 모델(LLM)의 발전에 따라 기존 벤치마크의 한계를 지적하고, LLM의 능력을 평가하기 위한 새로운 동적이고 적대적인 평가 환경인 "Squid Game"을 제안합니다. 이 환경은 자원 제약 및 비대칭 정보 설정을 통해 LLM이 다양한 능력(지시 따르기, 코드, 추론, 계획, 안전 정렬)을 평가하도록 설계되었습니다. 50개 이상의 LLM에 대한 평가를 통해, 모델의 세대별 성능 변화를 관찰하고, 일부 모델이 게임에서 승리하기 위해 투기적인 지름길을 사용하는 것을 발견하여 기존 벤치마크의 잠재적인 오염 문제를 제기합니다. 또한, 기존 벤치마크와의 상관관계 분석을 통해 동적 평가가 정적 평가를 보완할 수 있음을 보여줍니다.
