本論文は、変動する境界および初期条件からの訓練サンプルが不規則な損失と急激な勾配を引き起こす可能性があるデータベースの偏微分方程式（PDE）代用モデルと、剛性複合損失がこれらの効果を増幅する物理情報ニューラルネットワーク（PINN）におけるトランスフォーマーニューラルネットワークの活用に関する問題を扱います。これを解決するために、固定された2番目のモーメント割引率beta2を階層ごとの動的値に置き換えるAdamスタイルオプティマイザであるKourkoutas-Betaを提案します。この動的値は、過去のスロープノルムの指数移動平均（EMA）で割った現在プールされたスロープノルムである境界「sunspike」の比率によって決定され、[0、1）区間に圧縮されます。スパイクは beta2 を beta2_min に下げ、安定した段階では beta2_max の近くに保ちます。 Heat2D（Transformer PDE 代用モデル）、Heat3D（3D PINN 熱伝導）、MLX 合成操作、small-enwik8（文字レベル Transformer）など、4 つの設定で Kourkoutas-Beta をテストして、固定 beta2 Adam と比べて安定性と最終損失を改善することを示しています。特に、small-enwik8では、Adam-0.95に対して約38％、Adam-0.999に対して約58％のビット当たりの文字数を下げました。 Kourkoutas-BetaはAdamと同様のランタイムオーバーヘッドを持ち、急激な傾きの下で堅牢性を向上させながらAdamスタイルの収束を保証します。
