Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Synthétiser des tâches de programmation de haute qualité avec des agents experts et étudiants basés sur le LLM

Created by
  • Haebom

Auteur

Manh Hung Nguyen, Victor-Alexandru P\u{a}durean, Alkis Gotovos, Sebastian Tschiatschek, Adish Singla

Contour

Cet article explore comment fournir des tâches de programmation de haute qualité aux étudiants grâce à l'IA générative. L'IA générative actuelle présente des problèmes tels que des tâches générées de mauvaise qualité, des difficultés de compréhension pour les étudiants et des erreurs. Pour résoudre ces problèmes, nous présentons une nouvelle technique de synthèse, PyTaskSyn. PyTaskSyn simule des agents experts et étudiants à l'aide de modèles génératifs forts et faibles, et génère des tâches de programmation de haute qualité grâce à un processus de vérification en plusieurs étapes. Les résultats expérimentaux démontrent que PyTaskSyn améliore significativement la qualité des tâches par rapport aux techniques existantes. Une étude utilisateur utilisant une application web publique démontre que PyTaskSyn fournit des tâches de qualité comparable à celles conçues par des experts. De plus, PyTaskSyn réduit la charge de travail et les coûts tout en augmentant l'engagement des étudiants.

Takeaways, Limitations

•
Takeaways:
◦
Une nouvelle méthode permettant de générer automatiquement des tâches de programmation de haute qualité à l’aide de l’IA générative est présentée.
◦
Améliorer la qualité de l'IA générative existante avec PyTaskSyn.
◦
Créer un pipeline de vérification efficace grâce à des simulations d'agents experts et étudiants
◦
Nous avons constaté des résultats en termes de réduction de la charge de travail et des coûts et d’augmentation de l’engagement des étudiants.
◦
Présentation de l'applicabilité pratique à travers des applications Web ouvertes
•
Limitations:
◦
Les performances de PyTaskSyn peuvent dépendre des performances du modèle génératif utilisé.
◦
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à travers différents langages de programmation et niveaux d’éducation.
◦
Il convient de tenir compte des limites de généralisabilité dues à l’ampleur de la recherche sur les utilisateurs et aux caractéristiques des participants.
◦
Des éclaircissements sont nécessaires sur la définition et les critères des agents experts.
👍
Made with Slashpage