Afin d'améliorer l'interprétabilité des modèles Transformer, cet article propose le cadre Entropy-Lens, qui génère un profil d'entropie en calculant l'entropie de Shannon de la distribution des jetons à chaque couche. Au lieu d'analyser la représentation latente, nous analysons l'évolution de la distribution des jetons directement dans l'espace du vocabulaire afin de résumer le processus de calcul du modèle d'un point de vue théorique de l'information. Ce profil d'entropie révèle les schémas de calcul du modèle et permet de révéler des corrélations avec le type d'invite, le format de la tâche et la précision des résultats. Des expériences sont menées sur différents modèles Transformer et valeurs α afin de vérifier la stabilité et la généralité de l'entropie de Shannon. Ceci est réalisé sans recours à la descente de gradient traditionnelle, au réglage fin ou à l'accès aux informations internes du modèle.
