Dans cet article, nous proposons un nouveau cadre d'évaluation de la capacité des modèles linguistiques à grande échelle (MLE) à acquérir de nouvelles connaissances. Ce cadre simule un être humain curieux qui rencontre une phrase introduisant des connaissances scientifiques en incitant le LE à générer des questions pour la première fois. Nous évaluons le potentiel d'acquisition de connaissances du LE en évaluant la qualité des questions générées et validons la validité de la procédure de notation par une étude d'élimination contrôlée. Nous générons un ensemble de données synthétiques composé de 1 101 phrases de difficulté variable en physique, chimie et mathématiques, de 300 phrases de culture générale et de 567 phrases incorrectes, et validons la validité de l'évaluation du modèle par une évaluation humaine (kappa de Cohen pondéré d'environ 0,7). Nous constatons que si les grands modèles tels que GPT-4 et Mistral 8x7b sont capables de générer des questions cohérentes et pertinentes, le modèle Phi-2, plus petit, est tout aussi efficace, voire plus. Cela suggère que la taille du modèle n'est pas le seul facteur déterminant le potentiel d'acquisition de connaissances. Le cadre proposé quantifie les caractéristiques importantes du modèle qui ont été jusqu’alors négligées et présente des opportunités de recherche pour développer des systèmes d’IA plus riches en connaissances.
