Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Construction d'une norme pour le dessin scientifique des enfants : caractéristiques de distribution basées sur la similarité sémantique des grands modèles linguistiques

Created by
  • Haebom

Auteur

Yi Zhang, Fan Wei, Jingyi Li, Yan Wang, Yanyan Yu, Jianli Chen, Zipo Cai, Xinyu Liu, Wei Wang, Sensen Yao, Peng Wang, Zhong Wang

Contour

Cette étude a utilisé un modèle de langage à grande échelle (MLL) et l'algorithme word2vec pour surmonter les limites des études précédentes évaluant la compréhension de concepts scientifiques à travers des dessins d'enfants (contenu des images dépendant de la tâche et interprétation subjective par les chercheurs). Nous avons analysé 1 420 dessins d'enfants sur neuf thèmes scientifiques afin d'explorer la cohérence de leurs représentations d'images entre les thèmes et de proposer une norme pour les dessins scientifiques d'enfants. Les résultats ont confirmé la présence de cohérence dans la plupart des dessins, démontrant une forte similarité sémantique (généralement > 0,8). Cependant, nous avons également constaté un biais de cohérence, indépendant de la précision du LLM. Nous avons également analysé la corrélation entre des facteurs tels que la taille de l'échantillon, le niveau d'abstraction et la concentration, d'une part, et la cohérence des images et la précision de la reconnaissance du LLM, d'autre part, et examiné si ces facteurs reflétaient le contenu du cours. Les résultats ont confirmé que la précision de la reconnaissance du LLM était l'indicateur le plus sensible, et qu'elle était également liée à la taille de l'échantillon et à la similarité sémantique. De plus, nous avons constaté que la cohérence entre l'expérience pédagogique et les objectifs pédagogiques était un facteur important, de nombreux étudiants ayant tendance à se concentrer sur l'expérience elle-même plutôt que sur l'explication.

Takeaways, Limitations

Takeaways:
Une nouvelle méthode d’analyse quantitative de la signification des dessins d’enfants à l’aide de modèles linguistiques à grande échelle est présentée.
En révélant la cohérence et le biais des représentations d’images scientifiques des enfants, nous offrons une nouvelle perspective sur l’étude de l’évaluation de la compréhension des concepts scientifiques par les enfants.
Identifier les facteurs influençant l’analyse d’image (taille de l’échantillon, niveau d’abstraction, focalisation, reflet du contenu du cours, etc.).
A contribué à l'établissement de normes et de critères pour la recherche sur le dessin scientifique des enfants.
Limitations:
Comme il s’agit d’une méthode d’analyse dépendant des performances du LLM, il est possible que les limites du LLM affectent les résultats de la recherche.
Difficulté de généralisation en raison des limites des données graphiques utilisées dans l’analyse (sujets spécifiques, groupes d’âge, etc.).
Une analyse plus approfondie est nécessaire pour déterminer la cause du biais de cohérence.
Il existe toujours une possibilité qu’un jugement subjectif soit impliqué dans l’interprétation de l’image.
👍