Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Megaciencia: Ampliando las fronteras de los conjuntos de datos posteriores al entrenamiento para el razonamiento científico

Created by
  • Haebom

Autor

Run-Ze Fan, Zengzhi Wang, Pengfei Liu

Describir

Este artículo aborda la falta de conjuntos de datos de código abierto a gran escala para el razonamiento científico mediante la presentación del conjunto de datos TextbookReasoning, que contiene 650.000 preguntas de inferencia extraídas de libros de texto de ciencias de nivel universitario, y el conjunto de datos MegaScience, que contiene 1,25 millones de instancias integradas de diversos conjuntos de datos de código abierto. MegaScience se desarrolló mediante la identificación sistemática de subconjuntos óptimos mediante estudios de ablación de diversas metodologías de selección de datos. Además, un sistema de evaluación integral que abarca 15 puntos de referencia garantiza métricas de evaluación precisas. Los resultados experimentales demuestran que el conjunto de datos propuesto supera a los conjuntos de datos científicos de código abierto existentes en términos de rendimiento y eficiencia de entrenamiento. Los modelos de referencia entrenados en MegaScience (Llama3.1, Qwen2.5 y Qwen3) superan significativamente, en promedio, a sus correspondientes modelos de instrucción oficiales. Este artículo contribuye al avance de la investigación en razonamiento científico al divulgar el proceso de limpieza de datos, el sistema de evaluación, el conjunto de datos y los siete modelos entrenados.

Takeaways, Limitations

Takeaways:
Contribuir al avance de la investigación sobre inteligencia artificial en razonamiento científico proporcionando TextbookReasoning y MegaScience, conjuntos de datos de razonamiento científico a gran escala y de alta calidad.
Presentar una estrategia de composición óptima de conjuntos de datos a través del análisis comparativo de diversas metodologías de selección de datos.
Un sistema de evaluación integral permite medir y comparar con precisión el rendimiento de los modelos de inferencia científica.
Los modelos entrenados en MegaScience superan a los modelos existentes.
Demuestra escalabilidad a modelos a gran escala.
Conjuntos de datos de código abierto y modelos entrenados para garantizar el intercambio y la reproducibilidad de la investigación.
Limitations:
Se requiere una revisión más profunda del equilibrio y la diversidad del conjunto de datos. Existe la posibilidad de sesgo hacia ciertos campos o tipos de preguntas.
Es necesaria una mayor verificación de la calidad y confiabilidad de los conjuntos de datos utilizados para construir MegaScience.
Es necesario ampliar aún más el alcance del sistema de evaluación para abarcar una gama más amplia de tipos de razonamiento científico.
Es necesario un plan de actualización y gestión continua del conjunto de datos.
Falta de soporte para múltiples idiomas.
👍