Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

StreetViewAI : rendre Street View accessible grâce à l'IA multimodale sensible au contexte

Created by
  • Haebom

Auteur

Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsara, Shaun Kane

Contour

StreetViewAI est le premier outil Street View accessible aux personnes malvoyantes. Les outils de cartographie interactive de paysages urbains existants, tels que Google Street View (GSV) et Meta Mapillary, permettent aux utilisateurs d'explorer et de découvrir virtuellement des environnements réels grâce à des images immersives à 360 degrés, mais sont fondamentalement inaccessibles aux personnes malvoyantes. StreetViewAI résout ce problème en combinant une IA multimodale contextuelle, des commandes de navigation accessibles et une voix interactive. Les utilisateurs aveugles peuvent explorer virtuellement la collection distribuée de GSV, qui compte plus de 220 milliards d'images et plus de 100 pays, explorer des destinations en détail et planifier des itinéraires à distance. La facilité d'utilisation de StreetViewAI a été prouvée par un processus de conception itératif mené par une équipe multi-vision et des évaluations auprès de 11 utilisateurs aveugles.

Takeaways, Limitations

Takeaways : Street View est accessible aux personnes malvoyantes, offrant de nouvelles possibilités de recherche de points d'intérêt et de planification d'itinéraires à distance. Ce projet présente une approche de conception qui offre une accessibilité efficace grâce à une combinaison d'IA multimodale, de commandes de navigation accessibles et de voix interactive. Il démontre l'importance d'un processus de conception itératif avec la participation des utilisateurs.
Limitations: Actuellement, seuls 11 utilisateurs malvoyants sont évalués, et des recherches supplémentaires auprès d'une base d'utilisateurs plus large sont nécessaires. Des recherches supplémentaires sont nécessaires pour identifier les problèmes potentiels et les points à améliorer lors d'une utilisation à long terme. Des tests d'accessibilité supplémentaires sont également nécessaires pour les utilisateurs présentant divers types de déficiences visuelles.
👍