본 논문은 신경망의 시간적 역동성을 핵심 요소로 활용하는 새로운 딥러닝 모델인 Continuous Thought Machine (CTM)을 제안합니다. CTM은 (1) 각 뉴런이 과거 수신 신호를 고유한 가중치 매개변수로 처리하는 뉴런 수준의 시간적 처리와 (2) 잠재적 표현으로 사용되는 신경 동기화라는 두 가지 핵심 혁신을 특징으로 합니다. 이는 계산 효율성을 높이기 위한 과도하게 단순화된 뉴런 추상화와 생물학적 현실성 사이의 균형을 맞추고자 합니다. ImageNet-1K 분류, 2D 미로 풀이, 정렬, 패리티 계산, 질문 응답 및 강화 학습 등 다양한 과제에서 CTM의 강력한 성능과 다양성을 보여줍니다. CTM은 복잡한 순차적 추론이 필요한 작업을 수행할 수 있으며, 적응형 계산을 활용하여 간단한 작업에는 더 빨리 종료하고, 더 어려운 작업에는 계속 계산할 수 있습니다. 본 논문의 목표는 새로운 최첨단 결과를 제시하는 것이 아니라 CTM과 관련 혁신을 공유하는 것입니다.
