본 논문은 한국어 대규모 언어 모델(LLM)의 표준화된 평가 체계 부재 문제를 해결하기 위해, 오픈소스 기반의 자가 발전형 평가 프레임워크인 HRET(Haerae Evaluation Toolkit)을 제시한다. HRET은 logit 기반 점수 매기기, 정확 일치, 언어 불일치 패널티, LLM 기반 평가 등 다양한 평가 방법을 통합하며, HAE-RAE Bench, KMMLU, KUDGE, HRM8K 등 주요 벤치마크와 vLLM, HuggingFace, OpenAI 호환 엔드포인트 등 여러 추론 백엔드를 모듈화된 레지스트리 기반 아키텍처로 통합한다. 자동화된 파이프라인을 통해 지속적인 발전을 가능하게 하여, 재현 가능하고 공정하며 투명한 한국어 NLP 연구의 기반을 제공한다.
