본 논문은 언어 모델(LM)의 개발 및 배포 단계에서 포괄적인 평가의 중요성을 강조하며, 다양한 벤치마크에 대한 평균 점수를 활용하여 실제 LM 사용을 안내하는 방안을 제시합니다. 기존의 전체 벤치마크 평가는 비용이 많이 드는 문제점을 해결하기 위해, 벤치마크의 하위 집합에 대한 평균 점수를 계산하는 방법이 사용되었지만, 이는 질문 난이도에 영향을 받아 신뢰성이 떨어지는 문제가 있습니다. 본 논문에서는 항목 반응 이론(IRT)을 활용하여 질문 난이도를 고려한 신뢰할 수 있는 측정 방법을 제시하며, 질문 난이도 예측 모델을 학습하여 비용을 절감합니다. 또한, 난이도 예측 모델을 활용하여 특정 난이도의 질문을 생성하는 질문 생성기를 학습시켜 적응형 테스트를 가능하게 함으로써 평가 효율을 더욱 향상시킵니다. 22개의 일반적인 자연어 벤치마크와 172개의 LM에 대한 실험을 통해 제시된 방법이 기존 방법보다 신뢰성과 효율성이 높음을 보여줍니다.
