Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CAD2DMD-SET: Synthetic Generation Tool of Digital Measurement Device CAD Model Datasets for fine-tuning Large Vision-Language Models

Created by
  • Haebom

作者

Jo ao Valente, Atabak Dehban, Rodrigo Ventura

概要

この論文では、大規模ビジョン言語モデル（LVLM）がデジタル測定装置（DMD）の値を読み取るという単純な作業で困難になる現実の問題を解決するために、合成データ生成ツールCAD2DMD-SETを提案します。 CAD2DMD-SETは、3D CADモデル、高度なレンダリング、高忠実度画像合成を活用して、さまざまなVQAラベル付き合成DMDデータセットを生成し、実際の環境の制約を評価するための検証セットDMDBenchも付属しています。 3つの最先端LVLMを対象に評価した結果、CAD2DMD-SETで追加学習したモデルの性能が大幅に向上し、特にInternVLは200%の性能向上を示した。 CAD2DMD-SETは今後オープンソースで公開される予定です。

Takeaways、Limitations

•
Takeaways：
◦
LVLMのDMD値読み出し性能の向上に寄与する合成データ生成ツールCAD2DMD-SET提示
◦
実際の環境の問題（ノイズ、閉塞、極端な視点、モーションブラー）を考慮したデータセットの作成と評価。
◦
最先端のLVLMの性能を実質的に向上させる効果を実証（InternVLの場合は200％向上）。
◦
今後のオープンソース公開による研究コミュニティの活用可能性の提示。
•
Limitations:
◦
現在は論文発表時点でCAD2DMD-SETがオープンソースで公開されていない。
◦
DMDBenchの規模（1,000画像）が比較的小さい場合があります。
◦
様々なDMDの種類と環境の一般化性能に関するさらなる研究が必要
👍
Made with Slashpage