Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

StreetViewAI: Haciendo que Street View sea accesible mediante IA multimodal sensible al contexto

Created by
  • Haebom

Autor

Jon E. Froehlich, Alexander Fiannaca, Nimer Jaber, Victor Tsaran, Shaun Kane

Describir

StreetViewAI es la primera herramienta de street view accesible para personas con discapacidad visual. Herramientas interactivas de mapeo urbano como Google Street View (GSV) y Meta Mapillary permiten a los usuarios explorar y experimentar virtualmente entornos reales a través de imágenes inmersivas de 360 ​​grados, pero son fundamentalmente inaccesibles para personas con discapacidad visual. StreetViewAI resuelve este problema combinando IA multimodal sensible al contexto, controles de navegación accesibles y voz interactiva. Con StreetViewAI, las personas con discapacidad visual pueden revisar destinos virtualmente, explorar el mundo abierto y viajar virtualmente a través de la colección distribuida de GSV de más de 220 mil millones de imágenes en más de 100 países. Mediante un proceso de diseño iterativo con un equipo multidisciplinario y evaluaciones con 11 usuarios con discapacidad visual, demostramos el valor de la street view accesible para facilitar la realización de estudios de puntos de interés (POI) y la planificación remota de rutas. Finalmente, enumeramos las directrices clave para futuras investigaciones.

Takeaways, Limitations

Takeaways: Demuestra el potencial de las herramientas accesibles de Street View para personas con discapacidad visual. Demuestra eficacia en el apoyo a los estudios de puntos de interés y la planificación remota de rutas. Integra eficazmente la IA multimodal, los controles de navegación accesibles y la voz conversacional.
Limitations: El número de usuarios evaluados fue limitado (11). Se requiere más investigación con usuarios de diferentes discapacidades visuales y niveles de habilidad. Se requieren evaluaciones continuas de usabilidad y eficacia a lo largo del tiempo. Se requiere más investigación para determinar la generalización en diversos entornos y situaciones.
👍