Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
AIvaluateXR: Un marco de evaluación para la IA en dispositivos en XR con resultados de benchmarking
Created by
Haebom
Autor
Dawar Khan, Xinyu Liu, Omar Mena, Donggang Jia, Alexandre Kouyoumdjian, Ivan Viola
Describir
En este artículo, presentamos AIvaluateXR, un marco de evaluación integral para la implementación de modelos de lenguaje a gran escala (LLM) en dispositivos de realidad extendida (XR). Implementamos 17 LLM en cuatro plataformas XR: Magic Leap 2, Meta Quest 3, Vivo X100s Pro y Apple Vision Pro, y medimos cuatro métricas clave: consistencia del rendimiento, velocidad de procesamiento, uso de memoria y consumo de batería. Evaluamos el rendimiento de cada combinación modelo-dispositivo (68) variando la longitud de la cadena, el tamaño del lote y el número de subprocesos, y analizamos las ventajas y desventajas para aplicaciones XR en tiempo real. Proponemos un método de evaluación unificado basado en la teoría de optimalidad de Pareto 3D para seleccionar la combinación óptima de dispositivo-modelo, comparar la eficiencia de los LLM en el dispositivo con configuraciones cliente-servidor y en la nube, y evaluar la precisión de dos tareas interactivas. Esto proporciona información valiosa para guiar futuros esfuerzos de optimización para la implementación de LLM en dispositivos XR, y nuestro método de evaluación puede servir como base estándar para futuras investigaciones y desarrollos en este campo emergente. El código fuente y el material complementario están disponibles en www.nanovis.org/AIvaluateXR.html에서 .
Takeaways, Limitations
•
Takeaways:
◦
Ofrecemos un marco de evaluación integral, AIvaluateXR, para la implementación de LLM en dispositivos XR.
◦
Presentamos resultados de evaluación experimental para una variedad de dispositivos XR y LLM, brindando información para seleccionar la combinación óptima de dispositivo-modelo.
◦
Le ayuda a elegir una estrategia de implementación práctica comparando la efectividad de las configuraciones LLM en el dispositivo, cliente-servidor y basadas en la nube.
◦
Un método de evaluación integrado basado en la teoría de optimalidad de Pareto 3D se puede utilizar como base estándar para futuras investigaciones.
•
Limitations:
◦
Los tipos de dispositivos LLM y XR utilizados en la evaluación podrían ser limitados. Se requiere mayor investigación que incluya una mayor variedad de modelos y dispositivos.
◦
Las métricas de evaluación se limitan al rendimiento, la velocidad, la memoria y el consumo de batería. Es posible que falten otros factores importantes, como la experiencia del usuario y la latencia.
◦
Es posible que falten pautas específicas para seleccionar un LLM optimizado para una aplicación XR particular.
◦
Es posible que no refleje completamente la complejidad de los entornos de uso reales.
