Interactuar con objetos reales en realidad mixta (RM) suele ser complicado cuando estos son densos, distantes o parcialmente ocluidos. Esta dificultad surge porque las entradas están estrechamente ligadas a las restricciones físicas y, por lo tanto, interactúan directamente con los objetos físicos. En este artículo, presentamos una idea clave para desvincular las interacciones de estas restricciones mediante la introducción de proxies, representaciones abstractas de objetos reales. El sistema Reality Proxy transfiere fluidamente el objetivo de la interacción del objeto físico al proxy durante la selección. Además de facilitar la selección básica, Reality Proxy utiliza IA para enriquecer el proxy con propiedades semánticas y relaciones espaciales jerárquicas de los objetos, lo que permite interacciones novedosas como el skimming, el filtrado basado en atributos, la navegación por grupos anidados y la selección compleja de múltiples objetos sin necesidad de un nuevo gesto o sistema de menús. Demostramos la versatilidad de Reality Proxy en diversos escenarios, como la recuperación de información en oficinas, la navegación espacial a gran escala y el control de múltiples drones. Las evaluaciones de expertos demuestran la utilidad y usabilidad del sistema, sugiriendo que las abstracciones basadas en proxy proporcionan un paradigma de interacción poderoso y generalizable para futuros sistemas de RM.
