Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

L'impact des défauts d'écriture des items sur la difficulté et la discrimination dans la théorie de la réponse aux items

Created by
  • Haebom

Auteur

Robin Schmucker, Steven Moore

Contour

Cet article présente une étude utilisant une grille d'évaluation des défauts d'écriture (FDE), qui évalue les items de test en fonction de leurs caractéristiques textuelles, afin de remplacer l'approche traditionnelle de validation d'items basée sur des tests pilotes, gourmande en ressources, pour les évaluations pédagogiques basées sur la théorie de la réponse aux items (TRI). Nous avons appliqué une grille d'évaluation automatisée FDE (19 critères) à 7 126 questions à choix multiples (STEM) et analysé leur relation avec les paramètres de la TRI (difficulté, discrimination). L'analyse a révélé des corrélations significatives entre le nombre de FDE et les paramètres de difficulté et de discrimination de la TRI, notamment en sciences de la vie et de la terre et en sciences physiques, et a révélé que des critères spécifiques de FDE (par exemple, vocabulaire négatif, réponses incorrectes irréalistes) avaient un impact variable sur la qualité des items. En conclusion, nous suggérons que l'analyse automatisée FDE peut compléter efficacement les méthodes de validation existantes, particulièrement utile pour le filtrage des questions à choix multiples de faible difficulté.

Takeaways, Limitations

•
Takeaways:
◦
L'analyse IWF automatisée peut compléter efficacement les méthodes de validation des éléments IRT existantes, gourmandes en ressources.
◦
L’analyse IWF peut identifier efficacement les questions à choix multiples de faible difficulté.
◦
L’analyse de l’impact des critères spécifiques de l’IWF sur la difficulté et la discrimination des items peut être utilisée pour améliorer le développement des items.
•
Limitations:
◦
Cette étude s’est limitée au domaine STEM et des recherches supplémentaires sont nécessaires pour déterminer sa généralisabilité à d’autres domaines.
◦
Des recherches supplémentaires sont nécessaires pour améliorer les critères et les algorithmes d’évaluation généraux du domaine.
◦
Il est nécessaire de développer des algorithmes qui comprennent le contenu spécifique à un domaine.
👍
Made with Slashpage