[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

ParaStudent: Generar y evaluar código estudiantil realista enseñando a los LLM a esforzarse

Created by
  • Haebom

Autor

Mihran Miroyan, Rose Niousha, Joseph E. González, Gireeja Ranade, Narges Norouzi

Describir

Este artículo presenta el estudio ParaStudent, que investiga si los modelos de lenguaje a gran escala (LLM) pueden generar código incompleto, repetitivo y estilísticamente diverso, similar al de estudiantes reales. Utilizando un conjunto de datos secuenciados en el tiempo de entregas estudiantiles, recopilados durante varios semestres, diseñamos experimentos de baja y alta resolución para modelar el progreso estudiantil y evaluar el código generado en sus dimensiones semántica, funcional y estilística. Demostramos que el ajuste fino nos permite capturar con mayor precisión los procesos de escritura de código de estudiantes reales, los patrones de error, las mejoras incrementales y los cambios de estilo. Nuestras conclusiones demuestran que el modelado realista del código estudiantil requiere generación sensible al contexto, modelado temporal y la captura de la dinámica de aprendizaje mediante la evaluación multidimensional. El código para los experimentos y las evaluaciones está disponible en github.com/mmiroyan/ParaStudent.

Takeaways, Limitations

Takeaways:
Demuestra que es posible imitar con precisión el proceso de codificación de un estudiante real utilizando un LLM.
Demostrar que el ajuste fino puede mejorar la capacidad de generación de código de los estudiantes de LLM.
Enfatiza la importancia de la generación consciente del contexto, el modelado temporal y la evaluación multidimensional para el modelado de código de los estudiantes.
Desarrollar herramientas educativas basadas en LLM y presentar nuevas posibilidades para el análisis del aprendizaje.
Limitations:
El conjunto de datos utilizado en el estudio se limitó a un curso introductorio de programación específico, lo que puede limitar la generalización.
Se necesita más investigación sobre la generalización en diferentes lenguajes de programación y tipos de tareas.
Se necesitan más investigaciones para determinar si el LLM refleja plenamente las habilidades de resolución creativa de problemas de los estudiantes y su nivel de comprensión profunda.
Se debe tener en cuenta la subjetividad y las limitaciones de los indicadores de evaluación.
👍