Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Notation automatisée des essais intégrant les annotations des systèmes de rétroaction automatisés

Created by
  • Haebom

Auteur

Christophe Ormerod

Contour

Cette étude démontre comment intégrer des annotations basées sur le feedback au processus de notation afin d'améliorer la précision de la notation automatisée des dissertations (AES). À l'aide du corpus PERSUADE, nous avons intégré deux types d'annotations basées sur le feedback : des annotations identifiant les fautes d'orthographe et de grammaire, et des annotations mettant en évidence les éléments de l'argumentation. Pour démontrer leur applicabilité à des scénarios réels, nous avons utilisé un modèle de langage génératif pour la correction orthographique et un classificateur de jetons basé sur un encodeur, entraîné à identifier et à marquer les éléments de l'argumentation. L'intégration des annotations au processus de notation a permis de démontrer une amélioration des performances grâce à un modèle de langage à grande échelle basé sur un encodeur, optimisé comme classificateur.

Takeaways, Limitations

•
Takeaways: Nous démontrons que l'intégration d'annotations basées sur le feedback dans le pipeline AES peut améliorer la précision de l'AES. Cela suggère que les LLM peuvent être utilisés pour générer efficacement des annotations. Cela peut contribuer à améliorer les performances de classification des LLM basés sur un encodeur.
•
Limitations : La généralisabilité peut être limitée en raison des caractéristiques du corpus utilisé (PERSUADE). Des recherches supplémentaires sont nécessaires sur différents types de dissertations et différentes langues. Les performances peuvent être affectées par la qualité des annotations générées par LLM. Le coût informatique de la génération et de l'intégration des annotations peut être important.
👍
Made with Slashpage