StreetViewAI: Making Street View Accessible Using Context-Aware Multimodal AI
Created by
Haebom
作者
Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsara, Shaun Kane
概要
StreetViewAIは、視覚障害者のための最初のアクセス可能なストリートビューツールです。 Google Street View(GSV)やMeta Mapillaryなどの従来のインタラクティブストリートスケープマッピングツールは、没入型360度の画像を使用して実際の環境を仮想的に閲覧および体験することができますが、視覚障害者には根本的にアクセスできません。 StreetViewAIは、コンテキスト認識マルチモーダルAI、アクセス可能なナビゲーションコントロール、およびインタラクティブな音声を組み合わせることで、この問題を解決します。視覚障害者は、GSVが配布された2,200億以上の画像と100カ国以上を仮想的に探索し、目的地を詳細に調査し、リモートルート計画を立てることができます。混合視覚能力チームとの反復的な設計過程と11人の視覚障害者を対象とした評価により、StreetViewAIの有用性を実証しました。