본 논문은 기존 딥러닝 모델의 단순화된 신경 활동 표현 방식을 넘어, 신경 시간 역학을 기반으로 한 새로운 모델인 Continuous Thought Machine (CTM)을 제시합니다. CTM은 (1) 각 뉴런이 과거 입력 신호를 고유한 가중치 매개변수로 처리하는 뉴런 수준의 시간 처리 및 (2) 잠재적 표현으로 사용되는 신경 동기화라는 두 가지 핵심 혁신을 통해 생물학적 신경 활동의 시간적 동역학을 효과적으로 재현합니다. ImageNet-1K 분류, 2D 미로 풀이, 정렬, 패리티 계산, 질의응답 및 강화학습 등 다양한 과제에서 CTM의 강력한 성능과 다양성을 보여주며, 복잡한 순차적 추론이 필요한 작업도 수행할 수 있습니다. CTM은 또한 적응형 연산을 통해 간단한 작업은 더 빨리 종료하고, 어려운 작업에는 더 많은 연산을 수행할 수 있습니다. 본 논문은 최첨단 결과를 달성하는 것보다 CTM과 그 관련 혁신을 공유하는 데 중점을 둡니다.
