Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Flow-Induced Diagonal Gaussian Processes

Created by
  • Haebom

作者

Moule Lin, Andrea Patane, Weipeng Jing, Shuhao Guan, Goetz Botterweck

概要

FiD-GPは、ニューラルネットワークの重みの不確実性を低次元の部分空間に投影するためのコンパクトな誘導重み行列を組み込む圧縮フレームワークです。正規化フロー辞書とスペクトル正規化によって表現力を高め、数値的に安定した投影メカニズムの目標を通して、誘導部分空間を特徴 - 傾斜幾何学と整列させます。 FiD-GPの予測フレームワークを使用して、Out-of-Distribution(OoD)検出用のシングルパス投影を設計できます。回帰、画像分類、セマンティクス分割、およびOoD検出ベンチマークにおけるSVGPベースのベースラインと比較して不確実性推定能力を向上させ、理論的に保証されたOoD検出でタイトなスペクトル残差境界を満たし、ニューラルネットワークの記憶要件を大幅に圧縮します。

Takeaways、Limitations

ベイジアントレーニングのコストをいくつかの段階に削減します。
パラメータを約51%圧縮します。
モデルサイズを約75%削減します。
最先端の精度と不確実性の推定と一致します。
誘導重みの数に応じて推論計算が増加する。
👍