본 논문은 실세계 적용 가능성을 효과적으로 평가하기 위해 학문적 영역뿐 아니라 산업 분야도 포함하는 견고한 벤치마크가 대규모 언어 모델(LLM) 개발에 필요함을 강조합니다. 이를 위해 기존 KMMLU를 재구성하여 신뢰성을 높인 KMMLU-Redux와 한국의 전문직 국가면허시험을 기반으로 한국 전문 지식을 반영한 KMMLU-Pro라는 두 개의 한국어 전문가 수준 벤치마크를 제시합니다. KMMLU-Redux는 한국 국가기술자격시험 문제에서 오류를 제거하여 구성되었고, KMMLU-Pro는 한국의 전문직 국가면허시험 문제를 기반으로 합니다. 실험 결과, 이 벤치마크들이 한국 산업 지식을 포괄적으로 나타냄을 보여주며, 해당 데이터셋을 공개합니다.
