本論文は、グローバルな勾配同期に依存する逆伝播の限界を解決するために、グローバルな表現の一貫性を維持しながらレイヤごとに調整された更新を実行するレイヤ固有のトレーニングアルゴリズムであるStochastic Layer-wise Learning（SLL）を提示します。 SLLは、ネットワークのMarkov仮定に基づいてELBO（Evidence Lower Bound）に触発され、各レイヤーは決定論的なエンコーダーを介してローカル目標を最適化します。 ＥＬＢＯの扱いにくいＫＬ発散は、固定された幾何学的構造を維持する任意の投影によって得られた補助カテゴリー事後分布から計算されたＢｈａｔｔａｃｈａｒｙｙａ代用物に置き換えられる。オプションの乗算ドロップアウトは確率的正規化を提供します。 SLLはローカルで最適化され、グローバルに整列してレイヤ間の逆伝播を除去します。 MNISTからImageNetに至るMLP、CNN、Vision Transformerの実験では、SLLは最近のローカル方法を上回り、メモリ使用量は深さに関係なくグローバルBP性能に匹敵します。
