ZeroSumEval은 대규모 언어 모델(LLM)을 위한 동적이고 경쟁 기반의 진화하는 평가 프레임워크로, 경쟁 게임을 활용합니다. 보안 과제(Capture the Flag), 클래식 보드 게임(체스), 지식 테스트(MathQuiz) 등 다양한 게임을 포함하며, 전략적 추론, 계획, 지식 응용, 안전성, 적응성 등 다양한 능력을 평가하도록 설계되었습니다. LLM에 대한 게임 기반 평가의 효과를 강조하는 최근 연구를 기반으로, ZeroSumEval은 게임을 쉽게 구현할 수 있는 표준화되고 확장 가능한 프레임워크를 제공하며, DSPy를 활용하여 LLM 플레이어 전략에 대한 더 나은 추상화를 제공합니다.
