本稿では、小規模なデータ環境でモデルの表現力を意図的に増幅する新しい技術である「逆正規化」を提案します。逆正規化は、損失関数に符号が反転した補償項を導入し、小さな標本サイズではモデルの表現力を高め、標本サイズが増加するにつれて、二乗法則減少のスケジュールに従って介入が徐々に消えるようにします。本論文では,スペクトル安全条件と信頼領域制約を定式化し,投影演算子と傾斜クリッピングを組み合わせた軽い安全装置を設計し,安定した介入を確保する。理論的分析は線形平滑化とニューラルタンジェントカーネルシステムに拡張され、経験的リスクと分散のバランスにより減衰指数の選択に関する実用的なガイダンスを提供します。実験結果は,逆正規化が回帰と分類の両方における過小適合を緩和するとともに,一般化性能を維持し,較正を改善することを示した。さらなる分析は、減衰スケジュールと安全装置が過適合と不安定性を避けるために不可欠であることを確認します。また、サンプル当たりの複雑度を一定に保つ自由度目標スケジュールを提案する。逆正規化は、標準的な経験的リスクを最小限に抑えるパイプラインにシームレスに統合される簡単で再現可能な手順で、必要なときにのみ介入し、そうでなければ消えることによって、限られたデータとリソースの制約下で強力な学習を可能にします。
