Para mejorar la interpretabilidad de los modelos Transformer, este artículo propone el marco Entropy-Lens, que genera un perfil de entropía calculando la entropía de Shannon de la distribución de tokens en cada capa. En lugar de analizar la representación latente, analizamos la evolución de la distribución de tokens directamente en el espacio de vocabulario para resumir el proceso computacional del modelo desde una perspectiva de teoría de la información. Este perfil de entropía revela los patrones computacionales del modelo y se utiliza para revelar correlaciones con el tipo de indicación, el formato de la tarea y la precisión de la salida. Se realizan experimentos con diversos modelos Transformer y valores α para verificar la estabilidad y generalidad de la entropía de Shannon. Esto se logra sin necesidad de descenso de gradiente tradicional, ajuste fino ni acceso a información interna del modelo.
