Cet article présente DistillPrompt, une nouvelle approche de génération automatique d'invites (autoprompting), qui suscite un vif intérêt grâce aux avancées de la recherche en ingénierie des invites pour les modèles de langage à grande échelle (LLM). DistillPrompt est une méthode d'autoprompting basée sur les LLM qui exploite les données d'apprentissage pour intégrer des informations spécifiques à une tâche dans les invites, selon un processus en plusieurs étapes. Des opérations de distillation, de compression et d'agrégation sont utilisées pour explorer en profondeur l'espace des invites. Des expériences avec le modèle de langage t-lite-instruct-0.1 sur divers ensembles de données pour des tâches de classification et de génération de texte démontrent des améliorations significatives des performances par rapport aux méthodes existantes sur des indicateurs clés (par exemple, une amélioration moyenne de 20,12 % par rapport à Grips sur l'ensemble des données). Cela démontre que DistillPrompt est l'une des approches d'autoprompting non basées sur le gradient les plus efficaces.
