Dans cet article, nous proposons une méthode pour contrôler et rendre interprétable le processus de génération de modèles de langage en conférant des caractéristiques de sémantique formelle (localité, compositionnalité) à des représentations de phrases basées sur la distribution. Nous définissons le sens des phrases comme une combinaison de caractéristiques « rôle sémantique - contenu du mot » et présentons une géométrie formelle-sémantique. Nous injectons cette géométrie dans GPT2 à l'aide d'une VAE basée sur Transformer, ce qui nous permet de manipuler et d'expliquer la génération de phrases dans un espace gaussien latent de faible dimension. De plus, nous proposons un nouvel algorithme de sondage pour guider le mouvement des vecteurs de phrases. Les résultats expérimentaux démontrent que la géométrie formelle-sémantique a le potentiel de contribuer au contrôle et à l'amélioration de l'interprétation de la génération de phrases.
