Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Condition Weaving Meets Expert Modulation: Towards Universal and Controllable Image Generation

Created by
  • Haebom

作者

Guoqing Zhang, Xingtong Ge, Lu Shi, Xin Zhang, Muqing Xue, Wanru Xu, Yigang Cen, Jian Zhang

概要

UniGenは、画像から画像を生成するための統一されたフレームワークであり、さまざまな条件入力とプロンプト指示を利用して制御可能な画像を生成することを目的としています。既存の方法の冗長モデル構造と非効率的な計算リソース使用の問題を解決するために、条件変調専門家(CoMoE)モジュールとWeaveNetを提案する。 CoMoEは意味的に同様のパッチ機能を集計し、専用のエキスパートモジュールに割り当てて視覚的表現と条件モデリングを実行し、WeaveNetはバックボーンと条件分岐間の効果的な相互作用を可能にする動的接続メカニズムです。 Subjects-200KおよびMultiGen-20Mデータセットの実験の結果、UniGenはさまざまな条件画像作成操作で最先端のパフォーマンスを達成しました。

Takeaways、Limitations

Takeaways:
さまざまな条件入力をサポートし、生​​成効率と表現力を向上させる統一された画像対画像生成フレームワークの提案。
CoMoEモジュールを介して冗長パラメータと計算の非効率性を解決し、異なる条件下で前景の特徴の独立したモデリングを可能にします。
WeaveNetによるバックボーンと条件分岐間の効果的な情報交換のための動的接続機構の提示
Subjects-200KおよびMultiGen-20Mデータセットの実験を通して、様々な条件画像生成操作における最先端の性能を実証
Limitations:
論文に具体的なLimitationsへの言及はありません。 (しかし、論文で扱われていない潜在的な問題は存在する可能性があります。)
👍