2017年のトランスアーキテクチャの導入は、自然言語処理の分野で最も注目すべき進歩でした。トランスは、入力と出力の間のグローバルな依存性を導出するために、単にアテンションメカニズムに依存するモデルアーキテクチャです。しかし、この論文は、トランスが何であり、なぜ物理的に機能するのかについての理論的理解に違いがあると主張しています。本論文では,現代チップの物理的観点から,トランスアーキテクチャに基づく大規模言語モデルを実現するトークンのヒルベルト空間上のフォーク空間で開かれた量子システムとして物理モデルを構成した。この論文の物理モデルは、大規模言語モデルのためのトランスアーキテクチャの基盤となります。
