Beyond Benchmark: LLMs Evaluation with an Anthropomorphic and Value-oriented Roadmap
Created by
Haebom
Category
Empty
저자
Jun Wang, Ninglun Gu, Kailai Zhang, Zijiao Zhang, Yelun Bao, Jin Yang, Xu Yin, Liwei Liu, Yihuan Liu, Pengyong Li, Gary G. Yen, Junchi Yan
개요
본 논문은 대규모 언어 모델(LLM)의 벤치마크 성능과 실제 사용 간의 괴리를 해결하기 위해 인지적, 정서적, 전문적 능력을 평가하는 3차원 평가 분류 체계를 제안한다. 또한 경제적 타당성, 사회적 영향, 윤리적 정렬, 환경적 지속 가능성을 평가하는 가치 지향적 평가 프레임워크(VQ)를 제시한다. 이 연구는 200개 이상의 벤치마크 분석을 통해 동적 평가 필요성과 해석 가능성 격차와 같은 주요 과제를 파악하고, 기술적으로 뛰어나고 맥락적으로 관련되며 윤리적으로 건전한 LLM 개발을 위한 지침을 제공한다.
시사점, 한계점
•
시사점:
◦
인간 지능을 기반으로 한 새로운 평가 패러다임 제시: IQ, EQ, PQ를 포함하는 3차원 분류 체계
◦
가치 지향적 평가 프레임워크(VQ)를 통한 경제성, 사회적 영향, 윤리, 환경적 지속가능성 평가
