StreetViewAI: Making Street View Accessible Using Context-Aware Multimodal AI
Created by
Haebom
作者
Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsaran, Shaun Kane
概要
StreetViewAIは、視覚障害者のための最初のアクセス可能なストリートビューツールです。 Google Street View(GSV)やMeta Mapillaryなどのインタラクティブなストリート風景マッピングツールは、ユーザーが没入型360度の画像を介して実際の環境を仮想的に閲覧および体験することを可能にしますが、視覚障害者には根本的にアクセスできません。 StreetViewAIは、状況認識マルチモーダルAI、アクセス可能なナビゲーションコントロール、およびインタラクティブな音声を組み合わせることで、これらの問題を解決します。視覚障害者は、StreetViewAIを介して目的地を仮想的にレビューし、開かれた世界を探索し、GSVが配布された2,200億を超えるイメージと100カ国以上を仮想で旅行することができます。混合視覚能力チームとの反復的な設計過程と11人の視覚障害者ユーザーを対象とした評価により、POI調査および遠隔経路計画支援におけるアクセス可能な距離ビューの価値を実証しました。最後に、今後の研究のための主なガイドラインを列挙します。