Dans cet article, nous proposons une architecture de décodeur hiérarchique reproduisant le raisonnement hiérarchique humain, tirant parti du fait que les modèles de langage à décodeur seul, tels que GPT et LLaMA, ne décodent qu'à la dernière couche. En raison de contraintes de temps et de ressources de calcul, nous adoptons une approche permettant de transformer un modèle de langage pré-entraîné en décodeur hiérarchique. Les têtes de langage de la dernière couche sont copiées dans plusieurs couches intermédiaires sélectionnées, puis affinées avec différentes entrées de tâches. Par des expérimentations, nous vérifions que les couches intermédiaires sélectionnées peuvent générer du contenu pertinent et valide. Ce paradigme de décodeur hiérarchique atteint des performances de pointe pour plusieurs tâches, telles que la classification hiérarchique de textes, la génération basée sur la classification et la génération hiérarchique de textes. Cela suggère la possibilité d'un inférenceur hiérarchique généralisé, pré-entraîné de toutes pièces.
