Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Interact-Custom: Customized Human Object Interaction Image Generation

Created by
  • Haebom

作者

Zhu Xu、Zhaowen Wang、Yuxin Peng、Yang Liu

概要

本稿では、複数の概念を組み合わせて画像を生成する合成カスタム画像の作成に焦点を当てています。既存の研究は主に目標対象の外観の保存に焦点を当てていたが、対象間の細かい相互作用制御は見落とされた。この論文は、人間と物体の相互作用のシナリオに焦点を当て、カスタマイズされた人物と物体の相互作用画像の生成(CHOI)という課題を提案します。 CHOIは、目標とする人間と物体のアイデンティティの保存と、それらの間の相互作用の意味制御を同時に必要とする。 CHOIの主な課題は、(1)同時のアイデンティティの保存と相互作用を制御するために、人間と物体を自己包含的なアイデンティティの特徴と姿勢中心の相互作用の特徴に分解する必要がありますが、既存のHOI画像データセットはこれらの特徴分解学習に理想的なサンプルを提供できないという点と、これを解決するために、この論文では、異なる相互作用姿勢を含む同じ人間と物体のペアのサンプルを含む大規模なデータセットを処理し、2段階モデル​​のInteract-Customを設計しました。 Interact-Customは、最初に相互作用行動を描写する前景マスクを作成し、空間的構成を明示的にモデル化し、その後、このマスクのガイドに従ってアイデンティティ特徴を保存しながら対話する目的の人間とオブジェクトを作成します。また、ユーザーが背景画像と目的の人物が現れるべき位置の和集合位置を提供する場合、Interact-Customはそれを指定するオプション機能も提供し、高いコンテンツ制御機能を提供します。 CHOI操作のカスタマイズされたメトリックの広範な実験は、提案されたアプローチの効果を示しています。

Takeaways、Limitations

Takeaways:
人間と物体の相互作用画像生成分野に新たな課題であるCHOIを提示し、そのための効果的なモデルであるInteract-Customを提案。
人間と物体のアイデンティティ保存と相互作用制御を同時に達成する技術の開発
ユーザーに高いコンテンツ制御機能を提供します。
大規模なデータセットを活用した効果的な学習戦略の提示
Limitations:
提案されたモデルの性能評価は特定の指標に依存する可能性があります。
さまざまな種類の人間と物体の相互作用に対する一般化性能が追加の検証を必要とします。
既存のHOI画像データセットの限界を克服するために新しいデータセットを構築しましたが、データセットの規模と多様性に対する制限が存在する可能性。
複雑で多様な相互作用シナリオの処理能力は限られている可能性があります。
👍