본 논문은 대규모 언어 모델(LLM)의 효과적인 평가를 위해 동적인 벤치마크 저장소인 BenchHub를 소개합니다. BenchHub는 다양한 도메인에서 38개의 벤치마크, 30만 개 이상의 질문을 통합하여 지속적인 업데이트와 확장 가능한 데이터 관리를 지원합니다. 이는 도메인 또는 사용 사례에 맞춘 유연하고 사용자 지정 가능한 평가를 가능하게 합니다. 실험을 통해 도메인별 하위 집합에서 모델 성능이 크게 다름을 보여주며, 도메인 인식 벤치마킹의 중요성을 강조합니다. BenchHub는 데이터셋 재사용 증진, 투명한 모델 비교, 기존 벤치마크의 과소 대표 영역 식별을 용이하게 하여 LLM 평가 연구 발전에 중요한 기반 시설을 제공합니다.
