Position: The Turing-Completeness of Real-World Autoregressive Transformers Relies Heavily on Context Management

작성자

Haebom

카테고리

Empty

저자

Guanyu Cui, Zhewei Wei, Kun He

💡 개요

본 논문은 실제 세계의 자기회귀 트랜스포머(Autoregressive Transformers)가 튜링 완전성(Turing-Completeness)을 갖는다는 주장의 근거를 명확히 하고자 합니다. 기존 연구들이 고정된 시스템 설정이 아닌, 모델의 크기나 정밀도를 확장하는 설정에서 튜링 완전성을 증명한 점을 지적하며, 이러한 증명이 실제 LLM의 작동 방식과 다르다고 주장합니다. 나아가, 다양한 컨텍스트 관리 방법이 트랜스포머의 계산 능력을 결정하는 핵심 요소임을 강조합니다.

🔑 시사점 및 한계

•

실제 LLM의 튜링 완전성은 모델 자체의 능력뿐 아니라 컨텍스트 관리 방식에 크게 의존합니다.

•

기존의 튜링 완전성 증명은 모델 규모 확장 설정에 기반한 것으로, 고정 시스템 설정에서의 튜링 완전성을 직접적으로 입증하지 못합니다.

•

다양한 컨텍스트 관리 기법을 탐색하고, 이들이 트랜스포머의 실제 계산 능력에 미치는 영향을 정량적으로 분석하는 연구가 필요합니다.

PDF 보기

Made with Slashpage