본 논문은 Transformer 기반 대규모 언어 모델(LLM)을 확률적 좌측 문맥 의존 언어(CSL) 생성기로 해석하는 새로운 프레임워크를 제시합니다. Transformer를 문맥 창, 어텐션 메커니즘, 그리고 자기회귀적 생성 프레임워크라는 세 가지 기본 구성 요소로 분해하여 기존의 어텐션과 자기회귀를 불가분의 과정으로 보는 관점을 넘어서 더 유연하고 해석 가능한 계산 모델을 개발할 수 있도록 합니다. 다음 토큰 예측은 확률적이고 동적인 좌측 CSL 생성 규칙의 근사치로 이해될 수 있으며, 이는 단순한 토큰 예측이 어떻게 인간과 유사한 지능 출력을 생성하는지에 대한 직관적인 설명을 제공합니다. 모든 CSL이 좌측 문맥 의존적이라는 점을 고려하여 Transformer가 CSL을 확률적으로 근사한다는 결론을 내립니다. 이 해석은 형식 언어 이론과 Transformer의 관찰된 생성 능력 사이의 간극을 연결하여 생성 AI 이론과 응용 분야의 미래 발전을 위한 기반을 마련합니다. Transformer 아키텍처에 대한 새로운 관점은 LLM과 그 미래 잠재력에 대한 더 깊은 이해를 촉진할 것입니다.
