Inspiré par la capacité humaine à apprendre rapidement de nouveaux mots à partir d'un petit nombre d'exemples et à les utiliser avec souplesse dans divers contextes, cet article présente Minnow (Meta-training for In-context Learning of Words), une nouvelle méthode permettant d'améliorer les capacités d'apprentissage de mots en quelques tentatives avec un modèle de langage. Minnow entraîne un modèle de langage à générer des exemples de nouveaux mots à l'aide de jetons d'espace réservé spéciaux. L'entraînement répété sur une variété de nouveaux mots développe les capacités générales d'apprentissage de mots. Les résultats expérimentaux démontrent que l'entraînement d'un modèle de langage à partir de zéro avec Minnow, à l'aide de données linguistiques enfants, permet d'obtenir des capacités d'apprentissage de mots comparables à celles de modèles de langage à grande échelle (LLM) pré-entraînés avec beaucoup plus de données en quelques tentatives. De plus, l'optimisation de Minnow sur un LLM pré-entraîné améliore la capacité à segmenter les nouveaux mots, à identifier leurs catégories syntaxiques et à générer de nouveaux exemples d'usage et définitions à partir de quelques exemples contextuels. Cela souligne l'efficacité des données de Minnow et son potentiel pour améliorer les performances des modèles de langage dans les tâches d'apprentissage de mots.
