本論文は、変動する境界と初期条件からのトレーニングサンプルが不規則な損失と急激な勾配を引き起こすデータベースの偏微分方程式（PDE）代替モデルと剛性複合損失がこれらの効果を増幅する物理情報ニューラルネットワーク（PINN）でのトランスニューラルネットワークの使用に焦点を当てています。これを解決するために、固定二次モーメント割引率β₂を階層ごとの動的値に置き換えるAdamスタイルオプティマイザであるKourkoutas-Betaを提案します。この動的値は、現在プールされているスロープノルムと過去のノルムの指数移動平均（EMA）の比率である境界「sunspike」比率によって決まります。スパイクはβ₂をβ₂_minに向かって下げ、安定した段階ではβ₂_maxの近くに保ちます。 Leaky-AMSGrad（減衰）、信頼領域クリッピング（max_ratio）、適応微小項、およびいくつかのバイアス補正モード（「none」、「beta2max」、「exact」）を含むオプションがあります。 Heat2D（トランスフォーマーPDE代替モデル）、Heat3D（3D熱伝導PINN）、ブレとまれなトリガーバーストを備えた軽量MLX合成作業、および30MBのenwik8データセットを使用した文字レベルトランスフォーマーなど、4つの設定でKourkoutas-Betaをテストして固定β₂特に、small-enwik8では、Adam-0.95に対して約38％、Adam-0.999に対して約58％のbits-per-character減少が見られました。 Kourkoutas-Betaは、Adamスタイルの収束保証を維持しながら、急激な傾きの下での堅牢性を向上させるドロップイン方式です。
