본 논문은 대규모 언어 모델(LLM)의 새로운 지식 습득 능력을 평가하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 과학적 지식을 소개하는 문장에 대해 LLM이 질문을 생성하도록 유도하여, 처음으로 그 문장을 접하는 호기심 많은 사람을 시뮬레이션합니다. 생성된 질문의 질을 평가하여 LLM의 지식 습득 잠재력을 평가하고, 통제된 제거 연구를 통해 채점 절차의 유효성을 검증합니다. 물리, 화학, 수학 분야의 난이도가 다른 1101개의 문장, 일반 상식 문장 300개, 잘못된 문장 567개로 구성된 합성 데이터셋을 생성하고, 인간 평가를 통해 모델 평가의 유효성을 검증하였습니다 (가중 Cohen's kappa 약 0.7). GPT-4 및 Mistral 8x7b와 같은 대규모 모델이 일관성 있고 관련성 있는 질문을 생성하는 데 능숙하지만, 더 작은 Phi-2 모델도 동등하거나 더 효과적임을 발견하였습니다. 이는 모델의 크기가 지식 습득 잠재력을 결정하는 유일한 요소가 아님을 시사합니다. 제안된 프레임워크는 이전에 간과되었던 중요한 모델 기능을 정량화하고, 더욱 지식이 풍부한 AI 시스템을 개발하기 위한 연구 기회를 제시합니다.
