TreeGPT는 순수 TreeFFN 인코더-디코더 설계를 사용하여 구조적 추론 작업의 잠재력을 탐구하는 어텐션 메커니즘이 없는 신경망 아키텍처입니다. 기존의 어텐션 메커니즘에 의존하는 트랜스포머 방식과 달리, TreeGPT는 이웃 연결을 통해 병렬적으로 시퀀스를 처리하는 양방향 TreeFFN 구성 요소를 사용하여 계산 효율성을 유지하면서 추론 기능을 달성하는 것을 목표로 합니다. 왼쪽에서 오른쪽 의존성을 처리하는 인코더와 오른쪽에서 왼쪽 패턴을 처리하는 디코더 모두 간단한 이웃 간 연결을 사용하는 TreeFFN 인코더-디코더 메커니즘을 중심으로 합니다. ARC Prize 2025 데이터셋에서 316만 개의 매개변수를 사용하여 99%의 검증 정확도를 달성했습니다. 모델은 1500번의 학습 단계 내에 수렴하며 선택된 평가 샘플에서 100% 토큰 수준 정확도를 보여줍니다.
