Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation de la confiance dans l'IA, les humains et les commentaires coproduits parmi les étudiants de premier cycle

Created by
  • Haebom

Auteur

Audrey Zhang, Yifei Gao, Wannapon Suraworachet, Tanya Nazaretsky, Mutlu Cukurova

Contour

Cette étude a examiné la perception des étudiants du feedback génératif par l'IA basé sur des modèles linguistiques à grande échelle (MLS) dans l'enseignement supérieur, fournissant des informations précieuses pour une mise en œuvre et une adoption efficaces. Grâce à une conception expérimentale impliquant 91 étudiants de premier cycle, nous avons comparé et analysé la confiance des étudiants dans le feedback généré par le LMS, généré par des humains et co-généré par l'humain et l'IA. Plus précisément, nous avons examiné les facteurs influençant l'identification du type de feedback, la perception de sa qualité et les biais potentiels liés à la source du feedback. Les résultats ont montré que lorsque la source du feedback était masquée, les étudiants avaient tendance à préférer le feedback généré par l'IA et co-généré au feedback humain en termes d'utilité et d'objectivité. En revanche, lorsque la source du feedback était révélée, un biais négatif plus marqué envers l'IA est apparu. Il est intéressant de noter que la baisse d'authenticité lorsque la source du feedback était révélée se limitait au feedback issu de l'IA, tandis que le feedback co-généré maintenait des perceptions positives. L'expérience avec l'IA pédagogique a amélioré la capacité des étudiants à identifier le feedback généré par le LMS et a renforcé leur confiance dans tous les types de feedback. À l'inverse, les étudiants ayant une expérience approfondie de l'utilisation de l'IA à des fins générales avaient tendance à juger le feedback moins utile et moins fiable. Ces résultats suggèrent l’importance d’améliorer la maîtrise du feedback et de l’IA pour la fiabilité des sources de feedback et l’adoption et l’impact éducatif du feedback basé sur l’IA.

Takeaways, Limitations

Takeaways:
La perception des étudiants concernant les commentaires de l’IA est largement influencée par la divulgation ou non de la source des commentaires.
Le feedback co-généré peut être présenté comme une alternative pour compenser les lacunes du feedback de l’IA (faible authenticité lorsque les sources sont divulguées).
Il est nécessaire d’atténuer les préjugés des étudiants à l’égard du feedback de l’IA grâce à l’alphabétisation en IA et à l’éducation à la compréhension du feedback.
L’expérience des étudiants en matière d’IA influence leur perception du retour d’information de l’IA.
Limitations:
Les résultats de cette étude pourraient se limiter à un environnement éducatif et à une population étudiante spécifiques. Il convient de faire preuve de prudence avant de généraliser ces résultats.
Il existe un manque de critères d’évaluation objectifs pour les différences qualitatives dans les retours d’information.
Lors de la comparaison des retours humains et de l’IA, il est nécessaire d’examiner si le niveau qualitatif des retours humains est maintenu de manière cohérente.
Des recherches supplémentaires sont nécessaires, notamment sur des types de retours d’information d’IA plus diversifiés et sur un éventail plus large de populations étudiantes.
👍