Dans cet article, nous présentons Minnow (Meta-training for In-context Learning of Words), une nouvelle méthode d'apprentissage de mots à petite échelle. Cette approche s'appuie sur la capacité humaine à apprendre rapidement de nouveaux mots à partir d'un petit nombre d'exemples et à les utiliser avec souplesse dans divers contextes. Minnow entraîne un modèle de langage à générer des exemples de nouveaux mots à l'aide de jetons spéciaux. L'objectif est de développer des capacités générales d'apprentissage de mots en entraînant de manière répétée un ensemble diversifié de nouveaux mots. Les résultats expérimentaux démontrent que Minnow, entraîné de zéro sur des données linguistiques d'enfants, atteint des performances d'apprentissage de mots à petite échelle comparables à celles d'un modèle de langage à grande échelle (MLL) pré-entraîné avec beaucoup plus de données. De plus, l'optimisation de Minnow sur un LLM pré-entraîné améliore la capacité à segmenter les nouveaux mots, à identifier les catégories syntaxiques et à générer de nouveaux exemples d'usage et définitions. Ces résultats démontrent l'efficacité des données de Minnow et son potentiel à améliorer les performances du modèle de langage dans les tâches d'apprentissage de mots.
