F\`ux\`i: A Benchmark for Evaluating Language Models on Ancient Chinese Text Understanding and Generation
Created by
Haebom
Category
Empty
저자
Shangqing Zhao, Yuhao Zhou, Yupei Ren, Zhe Chen, Chenghao Jia, Fang Zhe, Zhaogaung Long, Shu Liu, Man Lan
개요
본 논문은 고전 중국어 처리에 있어 대규모 언어 모델(LLM)의 이해 및 생성 능력을 종합적으로 평가하는 새로운 벤치마크인 Fúxī를 제시한다. 기존 벤치마크가 주로 다중 선택 질문을 통한 이해 능력 평가에 집중한 것과 달리, Fúxī는 시 작문 및 대구 짓기와 같은 새로운 과제를 포함하여 21가지 다양한 과제를 통해 이해와 생성 능력을 모두 평가한다. 또한 고전 중국어 텍스트 생성을 위해 규칙 기반 검증과 미세 조정된 LLM 평가자를 결합한 특수 평가 지표를 사용하며, 언어적 정확성과 문화적 진정성을 모두 고려하는 체계적인 평가 프레임워크를 제공한다. 최첨단 LLM에 대한 광범위한 평가를 통해, 모델이 이해 과제에서는 유망한 결과를 보였지만, 특히 깊은 문화적 지식과 고전적 형식 준수를 요구하는 생성 과제에서는 상당한 어려움을 겪는다는 것을 밝혀냈다. 이를 통해 고전 중국어 처리의 현재 한계를 강조하고 향후 모델 개발을 위한 통찰력을 제공한다. 벤치마크, 평가 도구 키트 및 기준 결과는 공개적으로 제공된다.
시사점, 한계점
•
시사점:
◦
고전 중국어 처리에 대한 LLM의 이해 및 생성 능력을 종합적으로 평가하는 새로운 벤치마크 Fúxī를 제공.
