Este artículo aborda la calidad de los datos, un factor crítico para mejorar el rendimiento de los modelos lingüísticos a gran escala. Para superar las limitaciones de los métodos actuales de selección de datos basados en modelos, centrados únicamente en el inglés, presentamos un marco escalable denominado MuRating. MuRating transfiere la señal de calidad de los datos en inglés a 17 idiomas para crear un único evaluador. Obtiene una puntuación unificada de calidad del documento mediante comparaciones por pares de múltiples evaluadores ingleses y la proyecta sobre las traducciones para entrenar a evaluadores multilingües. La aplica a datos web para preentrenar un modelo LLaMA de 1200 millones de parámetros, seleccionando un subconjunto equilibrado de contenido en inglés y multilingüe. Mejora la precisión en las evaluaciones tanto en inglés como en multilingües, en comparación con métodos existentes como QuRater, AskLLM y DCLM, y muestra un excelente rendimiento, especialmente en tareas que requieren un alto nivel de conocimiento. Analizamos la fidelidad de la traducción, el sesgo de selección y la subrepresentación de los datos narrativos, y sugerimos futuras líneas de investigación.
