LLM 기반 벤치마크는 복잡한 모델 동작 평가에 널리 사용되지만, 기존의 정답 기반 벤치마크에서 나타나지 않는 실패 모드를 도입합니다. 이 논문은 엄격한 목표와 검증 가능한 구성이 없다면 벤치마크 순위가 사실상 노이즈에 가까운 높은 신뢰도의 순위를 생성할 수 있다고 주장합니다. 저자들은 이러한 문제를 진단하기 위한 두 가지 메커니즘을 제시합니다. 스키마 준수는 평가자의 전반적인 평결 중 명시적인 평가 스키마로 설명되는 정도를 정량화하여 평가자가 자체 루브릭에서 벗어날 때 설명되지 않는 분산을 드러냅니다. 심리 측정 타당성은 내부 일관성과 판별 타당성 신호를 집계하여 벤치마킹 실행의 감소될 수 없는 불확실성을 정량화합니다. Arena-Hard Auto에 이러한 도구를 적용한 결과, 저자들은 널리 사용되는 평가자 간에 심각한 스키마 비일관성과 요인 붕괴를 발견했습니다. 예를 들어, DeepSeek-R1-32B의 경우 90%를 초과하는 설명되지 않는 분산과 대부분의 기준에 대해 0.93 이상의 요인 상관 관계가 나타났습니다. 또한 ELO 스타일 집계가 실제 순위 불확실성을 붕괴시키고 숨기는 것을 보여줍니다. 이 결과는 타당성을 훼손하는 설계 실패를 강조하고, 더 나은 범위를 가진 신뢰성 인식 LLM 기반 벤치마크 구축을 위한 실행 가능한 원칙을 제공합니다.
