[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ParaStudent : Générer et évaluer un code étudiant réaliste en enseignant aux étudiants de LLM à lutter

Created by
  • Haebom

Auteur

Mihran Miroyan, Rose Niousha, Joseph E. Gonzalez, Gireeja Ranade, Narges Norouzi

Contour

Cet article présente l'étude ParaStudent, qui examine si les modèles de langage à grande échelle (MLH) peuvent générer du code incomplet, répétitif et stylistiquement diversifié, comme le font de vrais étudiants. À l'aide d'un ensemble de données chronologiques issues de soumissions d'étudiants collectées sur plusieurs semestres, nous concevons des expériences à basse et haute résolution pour modéliser les progrès des étudiants et évaluer le code produit selon des dimensions sémantiques, fonctionnelles et stylistiques. Nous démontrons qu'un réglage fin nous permet de capturer plus précisément les processus d'écriture de code, les schémas d'erreur, les améliorations progressives et les changements de style des étudiants réels. Nos conclusions démontrent qu'une modélisation réaliste du code étudiant nécessite une génération sensible au contexte, une modélisation temporelle et la capture de la dynamique d'apprentissage par une évaluation multidimensionnelle. Les codes expérimentaux et d'évaluation sont disponibles à l'adresse github.com/mmiroyan/ParaStudent.

Takeaways, Limitations_

Takeaways:
Démontre qu'il est possible d'imiter avec précision le processus de codage d'un véritable étudiant à l'aide d'un LLM.
Démontrer que le réglage fin peut améliorer la capacité de génération de code des étudiants du LLM.
Souligne l’importance de la génération sensible au contexte, de la modélisation temporelle et de l’évaluation multidimensionnelle pour la modélisation du code des étudiants.
Développer des outils pédagogiques basés sur le LLM et présenter de nouvelles possibilités d'analyse de l'apprentissage.
Limitations:
L’ensemble de données utilisé dans l’étude était limité à un cours d’introduction à la programmation spécifique, ce qui peut limiter la généralisabilité.
Des recherches supplémentaires sont nécessaires sur la généralisabilité à travers différents langages de programmation et types de tâches.
Des recherches supplémentaires sont nécessaires pour déterminer si le LLM reflète pleinement les compétences créatives en résolution de problèmes des étudiants et leur niveau de compréhension approfondie.
Il convient de tenir compte de la subjectivité et des limites des indicateurs d’évaluation.
👍