Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Calificación automatizada de ensayos que incorpora anotaciones de sistemas de retroalimentación automatizados

Created by
  • Haebom

Autor

Cristóbal Ormerod

Describir

Este estudio demuestra cómo integrar anotaciones basadas en retroalimentación en el proceso de calificación para mejorar la precisión de la calificación automatizada de ensayos (AES). Utilizando el corpus PERSUADE, incorporamos dos tipos de anotaciones basadas en retroalimentación: anotaciones que identifican errores ortográficos y gramaticales y anotaciones que resaltan los componentes del argumento. Para demostrar su aplicabilidad en situaciones reales, utilizamos un modelo de lenguaje generativo para la corrección ortográfica y un clasificador de tokens basado en codificadores, entrenado para identificar y calificar los componentes del argumento. Al incorporar anotaciones en el proceso de calificación, demostramos un mejor rendimiento utilizando un modelo de lenguaje basado en codificadores a gran escala, optimizado como clasificador.

Takeaways, Limitations

Takeaways: Demostramos que la integración de anotaciones basadas en retroalimentación en la secuencia de AES puede mejorar la precisión de AES. Esto sugiere que los LLM pueden utilizarse para generar anotaciones de forma eficiente. Esto puede contribuir a mejorar el rendimiento de clasificación de los LLM basados ​​en codificadores.
Limitations: La generalización puede ser limitada debido a las características del corpus utilizado (PERSUADE). Se requiere más investigación sobre diferentes tipos de ensayos e idiomas. El rendimiento puede verse afectado por la calidad de las anotaciones generadas por LLM. El coste computacional de la generación e integración de anotaciones puede ser significativo.
👍