본 논문은 추론 및 계획과 같은 중요한 작업이 근본적으로 알고리즘적이라는 점을 강조하며, 이를 견고하게 해결하려면 지름길이 아닌 진정한 추론 또는 계획 알고리즘을 습득해야 함을 주장합니다. 대규모 언어 모델(LLM)은 신경망 최적화 알고리즘, 최적화 데이터 및 목표, 그리고 구조적 비표현성의 한계 때문에 진정한 알고리즘 능력이 부족합니다. 이를 해결하기 위해 본 논문은 기본 연산과 정교한 미분 가능 프로그램 라이브러리를 LLM에 추가하여 일반적인 알고리즘을 처음부터 학습할 필요가 없도록 제안합니다. LLaMA3 기반의 Transformer 구조에 메모리, 레지스터, 기본 연산 및 적응형 순환을 추가하고, 알고리즘을 미분 가능한 시작 라이브러리로 직접 컴파일하는 방법을 정의하여 기본적으로 사용하고 최적화를 위해 기울기를 전파합니다. 예비 연구에서는 가변적인 계산 깊이를 가진 간단한 알고리즘 작업에 대해 소규모 Transformer를 미세 조정함으로써 미분 가능한 컴퓨터로 LLaMA3를 확장하는 가능성을 탐구합니다.
