[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Hi Robot: Seguimiento de instrucciones abiertas con modelos jerárquicos de visión-lenguaje-acción

Created by
  • Haebom

Autor

Lucy Xiaoyang Shi, Brian Ichter, Michael Equi, Liyiming Ke, Karl Pertsch, Quan Vuong, James Tanner, Anna Walling, Haohuan Wang, Niccolo Fusai, Adrian Li-Bell, Danny Driess, Lachy Groom, Sergey Levine, Chelsea Finn

Describir

Este artículo presenta un sistema robótico versátil que puede realizar diversas tareas en un entorno abierto. El sistema es capaz de procesar instrucciones complejas, indicaciones y retroalimentación, y planificar tareas paso a paso. Utiliza un modelo jerárquico de visión y lenguaje para analizar comandos complejos y la retroalimentación del usuario, inferir el siguiente paso más apropiado y, a continuación, ejecutar dicho paso como una acción de bajo nivel. A diferencia de la ejecución directa de comandos, que ejecuta comandos simples ("Recoge el vaso"), el sistema puede comprender indicaciones complejas e integrar retroalimentación contextual ("Eso no es basura") durante la ejecución de la tarea. La capacidad del sistema para realizar tareas como limpiar la mesa, preparar sándwiches y hacer la compra se evalúa en tres plataformas robóticas: un robot de un solo brazo, uno de dos brazos y uno móvil de dos brazos.

Takeaways, Limitations

Takeaways:
Demuestra el potencial para construir sistemas robóticos que puedan procesar comandos de lenguaje complejos y retroalimentación contextual.
Se verificó experimentalmente su aplicabilidad en varias plataformas robóticas.
Ejecución eficiente de tareas mediante la utilización jerárquica de modelos de lenguaje visual.
Limitations:
Se necesita un análisis más profundo de la generalización y robustez del sistema presentado en el artículo.
Se requiere verificación de escalabilidad para diversos entornos y tareas.
Se necesita más investigación sobre la capacidad de manejar situaciones inesperadas o errores.
👍