Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model

Created by
  • Haebom

作者

Jannik Endres, Oliver Hahn, Charles Corbi ere, Simone Schaub-Meyer, Stefan Roth, Alexandre Alahi

概要

本論文は全方位深さ認識のための新しい方法であるDFI-OmniStereoを提案する。全方位カメラベースの安価なステレオ深度推定により、高解像度深度マップを生成することを目的としています。既存の方法の限界を克服するために、大規模な事前訓練されたベースモデルを利用して、反復最適化ベースのステレオマッチング構造内で相対単眼深さ推定を実行します。具体的には、2段階のトレーニング戦略を通じて、相対的な単眼深さの特徴を利用してスケール不変微調整を行う。実際の環境データセットであるHelvipadは、従来の最高性能の全方位ステレオ方式と比較して、ディスパリティMAEを約16%削減する最先端の結果を達成します。

Takeaways、Limitations

Takeaways:
大規模な事前訓練されたベースモデルを活用して、全方位ステレオマッチングの精度を向上させました。
新しい2段階のトレーニング戦略により、相対単眼深度情報を効果的に活用します。
Helvipadデータセットで従来の最高性能を上回る結果を達成しました。
全方位の深さ認識を必要とするモバイルロボティクス分野に重要な発展をもたらすことができます。
Limitations:
提案された方法のパフォーマンスが特定のデータセット(Helvipad)にどの程度一般化できるかについての追加の評価が必要です。
さまざまな環境、奥行き範囲、照明条件に対するロバースト性をさらに高める必要があります。
計算コストとリアルタイム処理の可能性の分析が不足しています。
👍