TreeGPT es una arquitectura de red neuronal sin atención que explora el potencial de las tareas de inferencia estructurada mediante un diseño de codificador-decodificador TreeFFN puro. A diferencia de los enfoques de transformador convencionales que se basan en mecanismos de atención, TreeGPT busca lograr un rendimiento de inferencia manteniendo la eficiencia computacional mediante el uso de componentes TreeFFN bidireccionales que procesan secuencias en paralelo mediante conexiones vecinas. Tanto el codificador, que procesa dependencias de izquierda a derecha, como el decodificador, que procesa patrones de derecha a izquierda, se centran en el mecanismo de codificador-decodificador TreeFFN con conexiones vecinas simples. Utilizando 3,16 millones de parámetros, logramos una precisión de validación del 99 % en el conjunto de datos del Premio ARC 2025. El modelo convergió en 1500 pasos de entrenamiento y alcanzó una precisión del 100 % a nivel de token en muestras de evaluación seleccionadas.
