LPFQA: A Long-Tail Professional Forum-based Benchmark for LLM Evaluation
Created by
Haebom
Category
Empty
저자
Liya Zhu, Peizhuang Cong, Aowei Ji, Wenya Wu, Jiani Hou, Chunjie Wu, Xiang Gao, Jingkai Liu, Zhou Huan, Xuelei Sun, Yang Yang, Jianpeng Jiao, Liang Hu, Xinjie Chen, Jiashuo Liu, Jingzhe Ding, Tong Yang, Zaiyuan Wang, Ge Zhang, Wenhao Huang
개요
본 논문은 기존 벤치마크의 한계를 극복하고 LLM의 실제 능력을 평가하기 위해, 실제 전문가 포럼에서 추출한 롱테일 지식을 기반으로 하는 LPFQA 벤치마크를 제안합니다. LPFQA는 지식 깊이, 추론, 용어 이해, 상황 분석을 평가하는 세분화된 평가 차원, 계층적 난이도 구조, 실제 사용자 페르소나를 통한 전문 시나리오 모델링, 다양한 분야 간의 지식 통합을 특징으로 합니다. 12개의 주류 LLM을 LPFQA에서 평가한 결과, 특히 전문적인 추론 작업에서 상당한 성능 차이가 나타났습니다.
