Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Hacia chatbots educativos eficientes: evaluación comparativa de los marcos RAG

Created by
  • Haebom

Autor

Umar Ali Khan, Ekram Khan, Fiza Khan, Athar Ali Moinuddin

Describir

Este artículo propone un marco generativo de preguntas y respuestas basado en IA que utiliza un modelo de lenguaje a gran escala (LLM) para ayudar a los estudiantes a prepararse para el Examen de Aptitud para Graduados en Ingeniería (GATE). Al aprovechar las amplias capacidades de procesamiento de información bibliográfica del LLM, construimos un sistema que explica el proceso de resolución de problemas de GATE y apoya a los estudiantes sin fuentes externas. Realizamos una evaluación comparativa exhaustiva para seleccionar el modelo de incrustación y el LLM óptimos, y evaluamos el marco en función de la latencia, la precisión y la relevancia, y lo verificamos mediante una evaluación humana adicional. Desarrollamos un chatbot que integra el modelo de incrustación de última generación y el LLM, y realizamos experimentos rigurosos para encontrar una configuración que equilibre el rendimiento y la eficiencia computacional. También analizamos los problemas y las soluciones que surgen durante el procesamiento y el modelado de datos, y demostramos que la Generación Aumentada por Recuperación (RAG) se aplica a la tarea de explicación de preguntas y respuestas de GATE para mejorar la precisión de la recuperación y la calidad de la respuesta. Por último, proporcionamos información práctica para el desarrollo de herramientas educativas efectivas basadas en IA y sugerimos futuras direcciones de investigación para mejorar la usabilidad y la escalabilidad.

Takeaways, Limitations

Takeaways:
Presentando la posibilidad de desarrollar herramientas educativas efectivas basadas en IA utilizando LLM
Creación de un sistema de chatbot práctico para la preparación del examen GATE
Mejorar la precisión y calidad de las explicaciones de preguntas y respuestas utilizando la técnica RAG
Presentación de una metodología de evaluación comparativa para seleccionar modelos LLM e incrustación óptimos
Presentar problemas y soluciones que surgen durante el procesamiento y modelado de datos.
Limitations:
Se necesita más investigación sobre usabilidad y escalabilidad.
Se necesita una validación adicional del rendimiento de generalización en entornos de prueba GATE reales.
Se necesita más investigación sobre la adaptabilidad del sistema a diferentes tipos de preguntas y respuestas.
👍