Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
¿Son los LLM proféticos? Una evaluación continua usando las noticias diarias como guía.
Created by
Haebom
Autor
Hui Dai, Ryan Teehan, Mengye Ren
Describir
En este artículo, proponemos un método de evaluación continua para predecir eventos futuros a partir de noticias diarias, con el fin de resolver la pregunta __T7131__ de los modelos de lenguaje a gran escala (LLM). Evaluamos la generalización temporal y la capacidad predictiva de LLM mediante pares pregunta-respuesta (QA) generados automáticamente en el modelo de referencia "Daily Oracle". Nuestros resultados muestran que el rendimiento de LLM se deteriora a medida que los datos previos al entrenamiento se vuelven más antiguos, y que la degradación persiste incluso al utilizar la generación de recuperación aumentada (RAG), lo que subraya la necesidad de una actualización continua del modelo. El código y los datos se encuentran en __T7130__ .