Este estudio analiza experimentalmente el impacto relativo de la calidad y cantidad de los datos de entrenamiento en el rendimiento de los modelos de lenguaje a pequeña escala (SLM) utilizando el conjunto de datos TinyStories. Realizamos experimentos variando el tamaño del conjunto de datos (25% y 50% del original) y la tasa de redundancia (25%, 50%, 75% y 100%). Los resultados de la evaluación del rendimiento del modelo a través de métricas de pérdida de validación, precisión y perplejidad muestran que la calidad de los datos de entrenamiento juega un papel más importante en el rendimiento general de los SLM, especialmente considerando la escala de este experimento. Si bien la redundancia mínima mejoró ligeramente la precisión del modelo (aumento del 0,87% en la precisión con una redundancia del 25%), la redundancia excesiva resultó en una disminución del rendimiento (disminución del 40% en la precisión con una redundancia del 100%). Más allá del rendimiento del modelo, este estudio proporciona Takeaways que puede contribuir a la democratización de la tecnología de IA al considerar los problemas económicos y ambientales del entrenamiento de modelos a gran escala.
