Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

¿Son los LLM proféticos? Una evaluación continua usando las noticias diarias como guía.

Created by
  • Haebom

Autor

Hui Dai, Ryan Teehan, Mengye Ren

Describir

En este artículo, proponemos un método de evaluación continua para predecir eventos futuros a partir de noticias diarias, con el fin de resolver la pregunta __T7131__ de los modelos de lenguaje a gran escala (LLM). Evaluamos la generalización temporal y la capacidad predictiva de LLM mediante pares pregunta-respuesta (QA) generados automáticamente en el modelo de referencia "Daily Oracle". Nuestros resultados muestran que el rendimiento de LLM se deteriora a medida que los datos previos al entrenamiento se vuelven más antiguos, y que la degradación persiste incluso al utilizar la generación de recuperación aumentada (RAG), lo que subraya la necesidad de una actualización continua del modelo. El código y los datos se encuentran en __T7130__ .

Takeaways, Limitations

•
Takeaways:
◦
Se presenta un nuevo método de evaluación continua para evaluar la generalización temporal y la capacidad predictiva del LLM.
◦
Identificar la correlación entre la obsolescencia de los datos previos al entrenamiento y la degradación del rendimiento de LLM.
◦
A pesar del uso del RAG, se enfatiza la necesidad de actualización continua del LLM.
◦
Presentamos la posibilidad de monitoreo continuo del desempeño de LLM a través de Daily Oracle Benchmarks.
•
Limitations:
◦
Es necesario tener en cuenta la estabilidad y el mantenimiento a largo plazo del índice de referencia diario de Oracle.
◦
Es necesaria la verificación de generalización para varios tipos de LLM y conjuntos de datos.
◦
Se necesita más investigación para maximizar la eficacia de RAG.
◦
Dificultad para asegurar la objetividad en la evaluación debido a la incertidumbre en las predicciones futuras.
👍
Made with Slashpage