General Scales Unlock AI Evaluation with Explanatory and Predictive Power
Created by
- Haebom
Category
Empty
저자
Lexin Zhou, Lorenzo Pacchiardi, Fernando Martinez-Plumed, Katherine M. Collins, Yael Moros-Daval, Seraphina Zhang, Qinlin Zhao, Yitian Huang, Luning Sun, Jonathan E. Prunty, Zongqian Li, Pablo Sanchez-Garcia, Kexin Jiang Chen, Pablo A. M. Casares, Jiyun Zu, John Burden, Behzad Mehrbakhsh, David Stillwell, Manuel Cebrian, Jindong Wang, Peter Henderson, Sherry Tongshuang Wu, Patrick C. Kyllonen, Lucy Cheke, Xing Xie, Jose Hernandez-Orallo
개요
본 논문은 다양한 작업에서의 AI 성능을 이해하고 예측하여 안전하고 효과적인 AI 사용을 보장하기 위한 일반적인 AI 평가 척도를 제시합니다. 기존 벤치마킹의 낮은 전이성 문제를 해결하기 위해 18개의 새로운 평가 기준을 개발하여, AI 시스템의 능력 프로파일을 추출하고 새로운 작업(분포 내외)에 대한 성능을 예측하는 완전 자동화된 방법론을 제시합니다. 15개의 대규모 언어 모델과 63개의 작업에 적용한 결과, 높은 설명력과 예측력을 보였으며, 특히 분포 외 설정에서 임베딩이나 미세 조정 기반의 블랙박스 예측 모델보다 우수한 성능을 보였습니다. 이러한 척도, 기준, 배터리, 기술 및 결과는 향후 AI의 안정적인 배포를 위한 중요한 발걸음입니다.
시사점, 한계점
•
시사점:
◦
기존 벤치마킹의 한계를 극복하는 새로운 일반적인 AI 평가 척도 제시
◦
AI 시스템의 능력 프로파일 추출 및 새로운 작업에 대한 성능 예측 가능
◦
모델 크기, 사고 연쇄 및 증류가 지식, 메타인지 및 추론에 미치는 영향에 대한 통찰력 제공
◦
분포 외 설정에서 우수한 예측 성능 달성
◦
AI의 안전하고 효과적인 배포를 위한 기반 마련
•
한계점:
◦
제시된 18개의 새로운 평가 기준의 일반성 및 범용성에 대한 추가적인 검증 필요
◦
다양한 AI 시스템 유형에 대한 일반화 가능성에 대한 추가 연구 필요
◦
평가 척도의 지속적인 개선 및 업데이트 필요성
