Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption

Created by
  • Haebom

作者

Junghyun Lee, Eunsang Lee, Young-Sik Kim, Yongwoo Lee, Joon-Woo Lee, Yongjune Kim, Jong-seon No

概要

この研究は、同型暗号(HE)を使用したプライベート推論(PI)のための事前訓練モデルの活性化関数を近似する方法を提案します。従来の研究では、すべてのレイヤに同じ次数の多項式を使用して計算時間を長くしましたが、この研究では、各レイヤに異なる次数の多項式を適用する最適化されたレイヤ別近似(OLA)を提案しています。 OLAは、各アクティブ化関数の実際の入力分布を考慮して精度損失と時間消費の両方を最適化し、動的プログラミングを使用して最適化されたレイヤーごとの次数を効率的に計算します。 ResNet-20およびResNet-32モデルでは、推定時間をそれぞれ3.02倍、2.82倍短縮し、ConvNeXtモデルのGELU関数を3次多項式に置き換えてCIFAR-10分類を正常に実行しました。

Takeaways、Limitations

Takeaways:
プライベート推論のためのモデルにおける効率的な推論時間の短縮
各層の特性を考慮したカスタマイズされた近似技術の提案
事前トレーニングされたモデルのアクティベーション関数を変更せずにパフォーマンスを向上させることができます。
実際の入力分布を考慮して精度損失を最小化
Limitations:
同型暗号化環境でのパフォーマンスは、使用される暗号化方式とハードウェア環境によって異なります。
最適化されたレイヤーごとの次数を計算するための追加の計算コストが発生します。
特定のモデルとデータセットの実験結果のみが提示され、一般化の限界が存在する。
👍