La introducción de la arquitectura Transformer en 2017 fue uno de los avances más notables en el campo del procesamiento del lenguaje natural. Los Transformers son arquitecturas de modelos que se basan exclusivamente en mecanismos de atención para derivar dependencias globales entre entradas y salidas. Sin embargo, este artículo argumenta que existe una brecha en la comprensión teórica de qué es un Transformer y por qué funciona físicamente. En este artículo, construimos un modelo físico como un sistema cuántico abierto en el espacio de bifurcaciones sobre el espacio de Hilbert de tokens, que implementa un modelo de lenguaje a gran escala basado en la arquitectura Transformer desde una perspectiva física en chips modernos. El modelo físico de este artículo constituye la base de la arquitectura Transformer para modelos de lenguaje a gran escala.
