Shuo Sun, Yimin Zhao, Christina Dao Wen Lee, Jiawei Sun, Chengran Yuan, Zefan Huang, Dongen Li, Justin KW Yeoh, Alok Prakash, Thomas W. Malone, Marcelo H. Ang Jr
개요
본 논문은 인공 일반 지능(AGI) 연구 분야에서 단순한 성능 지표를 넘어 더욱 포괄적이고 통찰력 있는 평가 체계의 필요성에 대해 논의한다. 이를 위해 시각, 언어, 행동 영역을 아우르는 AI 모델(또는 인간)의 역량과 개별 테스트 케이스의 난이도를 공동으로 모델링하는 통합 등급 시스템을 제안한다. 기존 모델 중심의 지표와 달리, 모델과 과제 간의 경쟁적 상호 작용을 통해 세분화되고 난이도를 고려한 평가를 가능하게 하며, 실제 세계 과제의 긴 꼬리 분포와 현재 모델과 완전한 과제 수행 능력 사이의 격차를 포착한다. 다양한 기존 데이터 세트와 여러 AGI 영역의 모델에 대한 광범위한 실험을 통해 시스템의 일반화 가능성과 강건성을 검증하고, 결과로 얻어진 등급 분포는 과제 난이도, 모델 발전, 그리고 완전한 AGI 과제 수행 능력 달성에 남아 있는 과제에 대한 새로운 관점과 해석 가능한 통찰력을 제공한다.
