Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in OmniModels

Created by
  • Haebom

作者

Chen Chen, ZeYang Hu, Fengjiao Chen, Liya Ma, Jiaxing Liu, Xiaoyu Li, Xuezhi Cao

概要

本論文は、視覚、聴覚、言語モダリティを統合するOmniモデルの開発のために、Uni-modalおよびOmni-modalの能力を効果的に評価する新しいベンチマークUNO-Benchを提案する。 UNO-Benchは、3730人がキュレーションしたサンプル、44種類の作業タイプ、複雑な推論を評価するためのマルチステップオープン質問タイプで構成されています。さらに、6つの質問タイプをサポートする一般的な採点モデルを提案し、95%の精度で自動評価を実行します。実験結果は,Omni-modalとUni-modal性能の間の構成法則を示し,弱いモデルではOmni-modal能力がボトルネックとして現れ,強いモデルでは相乗効果を示したことを確認した。

Takeaways、Limitations

Takeaways:
Uni-modalとOmni-modalの両方の能力を評価する高品質ベンチマークUNO-Benchの開発
さまざまな作業タイプと複雑な推論評価のためのオープンな質問タイプが含まれています。
自動評価のための一般的な採点モデル提案。
Omni-modalとUni-modal性能との関係を解析し,モデル強度による異なる影響を確認した。
Limitations:
提示されたLimitationsは論文に直接言及されていません。 (論文の内容要約のみに基づいて作成)
👍