Uneven Evolution of Cognition Across Generations of Generative AI Models

Created by

Haebom

저자

Isaac Galatzer-Levy, Daniel McDuff, Xin Liu, Jed McGiffin

💡 개요

본 연구는 생성형 AI 모델의 인지 능력을 평가하기 위한 심리측정 프레임워크를 제안하고, 인간의 인지 능력과 비교하며 세대별 발달 과정을 추적합니다. 초기 평가 결과, 언어 이해 및 작업 기억 능력은 인간 상위 98%에 달하는 반면, 지각 추론 능력은 1% 미만에 머무는 불균형적인 인지 구조를 발견했습니다. AIQ 벤치마크를 통해 6세대 모델들의 학습 궤적을 추적한 결과, 언어 기반의 추상적 정량적 추론은 빠르게 발전했지만, 시각적 추론은 상대적으로 정체되어 있음을 확인했습니다.

🔑 시사점 및 한계

•

생성형 AI 모델은 특정 인지 영역에서 인간을 능가하는 발전을 보이지만, 전체적인 인지 능력은 불균형적으로 발달하고 있습니다.

•

언어 기반의 심볼릭 조작에 대한 아키텍처적 편향이 존재하며, 이는 시각적 추론 능력의 발전 속도에 영향을 미칩니다.

•

범용 인공지능(AGI) 달성을 위해서는 단순히 모델의 크기 확장 및 최적화만으로는 부족하며, 균형 잡힌 인지 능력 발달을 위한 새로운 아키텍처 설계가 필요합니다.

•

본 연구는 현재까지 공개된 모델들에 대한 평가이며, 향후 더 다양한 모델과 인지 영역에 대한 심층적인 분석이 필요합니다.

PDF 보기

Made with Slashpage