En este artículo, presentamos Minnow (Meta-entrenamiento para el Aprendizaje de Palabras en Contexto), un novedoso método para mejorar el aprendizaje de palabras a pequeña escala. Este enfoque se basa en la capacidad humana de aprender rápidamente nuevas palabras a partir de un número reducido de ejemplos y utilizarlas con flexibilidad en diversos contextos. Minnow entrena un modelo de lenguaje para generar ejemplos de palabras nuevas mediante tokens especiales. La clave reside en desarrollar habilidades generales de aprendizaje de palabras mediante el entrenamiento repetido de un conjunto diverso de palabras nuevas. Los resultados experimentales demuestran que Minnow, entrenado desde cero con datos de lenguaje infantil, logra un rendimiento en el aprendizaje de palabras a pequeña escala comparable al de un modelo de lenguaje a gran escala (LLM) preentrenado con una cantidad significativamente mayor de datos. Además, el ajuste preciso de Minnow en un LLM preentrenado mejora la capacidad de segmentar palabras nuevas, identificar categorías sintácticas y generar nuevos ejemplos de uso y definiciones. Estos resultados demuestran la eficiencia de datos de Minnow y su potencial para mejorar el rendimiento del modelo de lenguaje en tareas de aprendizaje de palabras.
