Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Energy Matching: Unifying Flow Matching and Energy-Based Models for Generative Modeling

Created by
  • Haebom

作者

Michal Balcerak, Tamaz Amiranashvili, Antonio Terpin, Suprosanna Shit, Lea Bogensperger, Sebastian Kaltenbach, Petros Koumoutsakos, Bjoern Menze

概要

本稿では、フローベースの生成モデルの柔軟性を高めるためにエネルギーマッチングフレームワークを提案します。既存のフローベースのモデルは部分的な観測値や追加の事前情報を統合するのが困難ですが、エネルギーベースのモデル（EBM）はスカラーエネルギー項を追加して効果的に処理します。提案された方法は、ノイズ分布からデータ分布への最適な輸送経路に沿ってサンプルを移動させ、データ多様体に近づくにつれてエントロピーエネルギー項を使用してボルツマン平衡分布に導く。これらのダイナミクスは時間に依存しない単一のスカラーフィールドとしてパラメータ化され、強力なジェネレータであり、逆問題の効果的な規制のための柔軟な事前情報として機能します。 CIFAR-10およびImageNetイメージ生成では、従来のEBMよりも優れた性能を示し、データ多様体から離れた場所でもシミュレーションのないトレーニングを維持します。さらに、様々なモード探索をサポートする相互作用エネルギーを導入することにより、タンパク質生成設定における性能を実証する。時間条件、補助ジェネレータ、または追加のネットワークなしでスカラーポテンシャルエネルギーを学習する簡素化されたフレームワークを提示します。

Takeaways、Limitations

•
Takeaways：
◦
フローベースのモデルにエネルギーベースのモデルの利点（部分的な観測と追加の事前情報の統合）を組み合わせることで、柔軟性が向上しました。
◦
時間に関係のない単一のスカラーフィールドを使用して、モデルを合理化し、効率的なトレーニングを可能にしました。
◦
CIFAR-10とImageNetでは、従来のEBMより優れた性能を達成しました。
◦
多様なモード探索のための相互作用エネルギーを導入することで応用範囲を拡張しました。
◦
シミュレーションのないトレーニングで計算コストを削減しました。
•
Limitations:
◦
提案された方法の一般的な性能と限界に関する広範な実験的分析が欠けている。
◦
特定の用途（例えば、タンパク質生成）の性能評価は提示されているが、他の分野への一般化の可能性に関するさらなる研究が必要である。
◦
スカラーフィールドを使用する簡素化されたアプローチは、すべての種類のデータまたは生成の問題に対して常に最適なパフォーマンスを保証するわけではありません。
◦
より複雑なデータ分布や高次元データへのスケーラビリティに関するさらなる研究が必要です。
👍
Made with Slashpage