Pour relever le défi de la découverte de concepts émergents à travers les couches de Transformer, cet article propose un cadre VQ-VAE inter-couches (CLVQ-VAE). Pour surmonter la difficulté de comprendre l'évolution des caractéristiques au sein d'un modèle de langage à grande échelle, due au mélange linéaire et à la redondance des informations dans le flux résiduel, nous utilisons la quantification vectorielle pour cartographier les représentations sur plusieurs couches et réduire les caractéristiques redondantes du flux résiduel en vecteurs de concepts concis et interprétables. Plus précisément, nous combinons l'échantillonnage top-k basé sur la température et la mise à jour du livre de codes EMA pour contrôler l'espace latent discret et maintenir la diversité du livre de codes. Nous initialisons ensuite ce dernier à l'aide de k-means++ sphériques à l'échelle afin de mieux l'aligner sur la structure sémantique.
