Dans cet article, nous proposons une nouvelle technique d'extraction d'images de phrases à partir de modèles de langage à grande échelle (MLL), le préfixage de phrases (TP). Les méthodes existantes incitent les MLL à encoder les informations de phrase dans les images des derniers MLL par ingénierie des prompts. Cependant, cela conduit à un codage biaisé et à des effets en cascade dus à l'attention causale, ce qui empêche les premiers MLL de se référer aux MLL ultérieurs. Le TP ajoute les images de phrases décodées de chaque couche aux phrases d'entrée de la couche suivante, afin que les premiers MLL puissent prendre en compte l'intégralité des informations de la phrase. Il s'agit d'une technique prête à l'emploi, sans formation, qui s'intègre parfaitement à diverses méthodes d'images de phrases basées sur des prompts et à des MLL autorégressifs. Grâce à des expériences approfondies sur diverses tâches de similarité sémantique de texte (STS) et de sous-classification, nous démontrons que le TP améliore significativement les performances des méthodes existantes tout en augmentant à peine le coût d'inférence.
