TreeGPT est une nouvelle architecture de réseau neuronal combinant un mécanisme d'attention basé sur un transformateur et une agrégation parent-enfant globale pour traiter les arbres de syntaxe abstraite (AST). Contrairement aux approches existantes qui reposent uniquement sur le traitement séquentiel ou les réseaux de neurones graphes, TreeGPT utilise une conception hybride qui exploite l'auto-attention pour capturer les dépendances locales et un réseau d'anticipation d'arbre spécialisé (TreeFFN) pour modéliser les structures arborescentes hiérarchiques par transmission de messages répétitifs. L'innovation principale réside dans le mécanisme d'agrégation parent-enfant globale, qui permet à chaque nœud d'agréger progressivement les informations de l'ensemble de la structure arborescente sur T itérations. Les améliorations optionnelles incluent l'agrégation par portes avec pondérations d'arêtes apprenables, la liaison résiduelle pour la stabilité du gradient et la propagation bidirectionnelle pour capturer les dépendances ascendantes et descendantes. Évalué sur le jeu de données ARC Prize 2025, il a atteint une précision de 96 % avec seulement 1,5 million de paramètres, surpassant ainsi largement les autres modèles. La projection d'arêtes est le composant le plus important, et la combinaison de projection d'arêtes et de portes permet d'obtenir des performances optimales.
