본 논문은 대규모 언어 모델(LLM)의 논리 추론 능력 평가를 위한 새로운 벤치마크인 DivLogicEval을 제안합니다. 기존 벤치마크들이 다양한 추론 능력을 혼재하고 언어 다양성이 부족하며 이상적인 벤치마크 분포와 차이가 있다는 점을 지적하며, DivLogicEval은 반직관적인 다양한 문장으로 구성되어 더욱 신뢰할 수 있는 평가를 가능하게 합니다. 또한, LLM의 편향과 무작위성의 영향을 완화하는 새로운 평가 지표를 제시하고, 다양한 LLM의 논리 추론 능력을 비교 분석합니다.
