この論文では、大規模言語モデル（LLM）とTransformerアーキテクチャの限界を克服するために提案されたEcho State Transformer（EST）を紹介します。 ESTは、トランスフォーマーのアテンションメカニズムとReservoir Computingの原理を組み合わせたハイブリッドアーキテクチャで、固定サイズのウィンドウ分散メモリシステムを作成します。具体的には、ESTは、複数の並列Reservoirに基づく「Working Memory」モジュールを統合して、各処理段階で一定の計算複雑性を達成することによって、標準のTransformerの2次複雑性問題を解決します。 ESTはTime Series Libraryベンチマークで優れた性能を発揮し、時系列の分類や異常検出作業で強力なパフォーマンスを実証します。
