본 논문은 기존 QA 벤치마크의 한계점인 데이터 오염, 암기, 증가하는 데이터셋 생성 비용을 해결하기 위해, 기존 QA 데이터셋을 구조화된 적대적 토론으로 변환하는 평가 패러다임을 제안한다. 하나의 모델이 정답을 옹호하고, 다른 모델이 대안적인 답변을 구성하여 옹호하는 방식으로 진행되며, 정답을 모르는 심사 모델이 판정한다. 다회차 논증을 통해 어려움을 증가시키고 암기를 제한하며, 기존 QA 항목을 재사용하여 관리 비용을 줄이는 것이 특징이다. 주요 기여는 QA 과제를 토론 기반 평가로 전환하는 파이프라인과 MMLU-Pro 질문의 하위 집합을 사용한 공개 벤치마크이다. 실험 결과는 해당 방법의 강건성과 데이터 오염에 대한 효과를 검증하며, 테스트 질문으로 미세 조정된 Llama 3.1 모델이 토론에서는 성능이 저하됨을 보여준다. 또한 약한 심사 모델조차 강력한 토론자를 구별할 수 있음을 보여주어, 비용 효율적으로 향상된 시스템을 평가할 수 있음을 시사한다. 결론적으로, 본 논문의 프레임워크는 "테스트 세트를 사전 학습하는 것만으로는 충분하지 않다"는 점을 강조하며, 고급 언어 모델의 진정한 추론 능력을 측정하는 지속 가능한 방법을 제시한다.
