Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

StreetViewAI : rendre Street View accessible grâce à l'IA multimodale sensible au contexte

Created by
  • Haebom

Auteur

Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsaran, Shaun Kane

Contour

StreetViewAI est le premier outil de visualisation de rue accessible aux personnes malvoyantes. Les outils de cartographie interactive de paysages urbains comme Google Street View (GSV) et Meta Mapillary permettent aux utilisateurs d'explorer et de découvrir virtuellement des environnements réels grâce à des images immersives à 360 degrés, mais ils sont fondamentalement inaccessibles aux personnes malvoyantes. StreetViewAI résout ce problème en combinant une IA multimodale contextuelle, des commandes de navigation accessibles et une voix interactive. Grâce à StreetViewAI, les personnes malvoyantes peuvent consulter virtuellement des destinations, explorer le monde ouvert et voyager virtuellement à travers la collection distribuée de GSV, qui compte plus de 220 milliards d'images et plus de 100 pays. Grâce à un processus de conception itératif avec une équipe multi-vision et à des évaluations auprès de 11 utilisateurs malvoyants, nous avons démontré l'intérêt d'une visualisation de rue accessible pour la prise en charge des relevés de points d'intérêt (POI) et la planification d'itinéraires à distance. Enfin, nous énumérons des lignes directrices clés pour les recherches futures.

Takeaways, Limitations

Takeaways : Démontre le potentiel des outils Street View accessibles aux personnes malvoyantes. Démontre son efficacité dans la prise en charge des relevés de points d'intérêt et la planification d'itinéraires à distance. Intègre efficacement l'IA multimodale, les commandes de navigation accessibles et la voix conversationnelle.
Limitations: Le nombre d'utilisateurs évalués était limité (11). Des recherches supplémentaires sont nécessaires auprès d'utilisateurs présentant des déficiences visuelles et des niveaux de compétence variés. Des évaluations continues de la convivialité et de l'efficacité sont nécessaires au fil du temps. Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité dans divers environnements et situations.
👍