본 논문은 대규모 언어 모델(LLM)이 문맥 내 학습(ICL)을 통해 기호 처리에 놀라운 능력을 보여준다는 사실에 주목하며, 변환기 네트워크가 추상적인 기호 조작을 어떻게 수행하는지 이해하고자 한다. 이를 위해 기호 AI 및 인지 과학의 통찰력을 활용하여, 복잡하고 추상적인 기호 처리를 위한 고수준 생산 시스템 언어인 PSL(Production System Language)을 개발하고, PSL 프로그램을 변환기 네트워크에서 정확하게 구현하는 컴파일러를 제작했다. 이 컴파일러는 100% 기계적으로 해석 가능하다. Templatic Generation (TGT)이라는 순수 추상 기호 작업을 연구하며 PSL을 개발했으며, PSL은 튜링 보편성을 갖는다는 것을 입증했다. PSL 프로그램에서 컴파일된 새로운 유형의 변환기 아키텍처는 변환기의 기호 처리 능력을 향상시킬 수 있는 여러 경로를 제시한다.
