본 논문은 기존의 인공지능(AI), 특히 대규모 언어 모델(LLM)의 상식 지능 평가 방식의 한계를 지적하며, 인간의 상식적 판단의 이질성을 고려한 새로운 평가 방법을 제안합니다. 기존 방식은 인간의 상식을 동질적이라고 가정하지만, 실제로는 상당한 차이가 존재합니다. 따라서 본 논문에서는 모델의 판단과 인간 집단의 판단 간의 일치도를 측정하여 상식 지능을 평가하는 새로운 프레임워크를 제시합니다. 연구 결과, 대부분의 LLM은 개별적인 상식 능력에서 인간 중간값 이하의 성능을 보였고, 가상 인구 시뮬레이터로서 사용되었을 때에도 실제 인간과의 상관관계는 미미했습니다. 흥미롭게도, 작고 개방형 모델이 크고 독점적인 최첨단 모델보다 더 경쟁력 있는 모습을 보였습니다. 본 연구는 AI 모델을 다양한 사회적 지식을 가진 인간 집단에 적응시켜야 한다는 주장에 기여합니다.
