[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

"PhyWorldBench": A Comprehensive Evaluation of Physical Realism in Text-to-Video Models

Created by
  • Haebom

作者

Jing Gu, Xian Liu, Yu Zeng, Ashwin Nagarajan, Fangrui Zhu, Daniel Hong, Yue Fan, Qianqi Yan, Kaiwen Zhou, Ming-Yu Liu, Xin Eric Wang

概要

本論文では、物理法則の遵守に基づいてビデオ生成モデルを評価するための包括的なベンチマークであるPhyWorldBenchを紹介します。 PhyWorldBenchは、物体運動やエネルギー保存などの基本原理から、剛体相互作用や人間や動物の動きを含むより複雑なシナリオまで、さまざまなレベルの物理的現象をカバーしています。また、意図的に現実世界の物理法則に違反するプロンプトを使用する「Anti-Physics」カテゴリを導入し、モデルが論理的な一貫性を維持しながらこれらの指示に従うことができるかどうかを評価します。大規模な人間評価に加えて、現在のMLLMを活用してゼロショット方式で物理的現実性を評価するためのシンプルで効果的な方法を紹介します。 12の最先端のテキスト - ビデオ生成モデル(オープンソース5つ、独自モデル5つ)を評価し、詳細な比較分析を通じて、現実世界の物理法則の遵守においてモデルが直面する重大な課題を把握します。 1,050のキュレーションされたプロンプト(基本、複合、および半物理的なシナリオ)で幅広いテストを実行し、さまざまな種類のプロンプトを持つさまざまな物理現象のパフォーマンスを厳密に確認し、物理原則の忠実度を高めるプロンプトを作成するための目標ガイドラインを導き出します。

Takeaways、Limitations

Takeaways: PhyWorldBenchは、ビデオ生成モデルの物理的現実性を評価するための標準化されたベンチマークを提供します。ゼロショット評価方法は、効率的なモデル評価を可能にします。さまざまな物理的現象とプロンプトの種類を分析して、モデルを改善するための具体的な方向性を提供します。
Limitations:ベンチマークの包括性にもかかわらず、実際の世界のすべての物理的現象を完全に反映することは困難です。 MLLMベースのゼロショット評価方法の精度にはさらに研究が必要です。評価に使用されるモデルの種類と数は限られている可能性があります。
👍