Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Análisis empírico del coentrenamiento simulado y real de políticas de difusión para empuje planar desde píxeles
Created by
Haebom
Autor
Adam Wei, Abhinav Agarwal, Boyuan Chen, Rohan Bosworth, Nicholas Pfaff, Russ Tedrake
Describir
El aprendizaje cooperativo, utilizando datos de demostración generados a partir de simulaciones y hardware real, se ha convertido en un enfoque prometedor para escalar el aprendizaje por imitación en robótica. Este estudio busca dilucidar los principios fundamentales de este enfoque de coaprendizaje simulación-real para fundamentar el diseño de simulaciones, la generación de conjuntos de datos simulados y reales, y el entrenamiento de políticas. Los resultados experimentales demuestran que el coaprendizaje con datos simulados puede mejorar significativamente el rendimiento, especialmente cuando los datos reales son limitados. Esta mejora del rendimiento se escala con datos de simulación adicionales hasta alcanzar un nivel estable, y el límite de rendimiento aumenta con la incorporación de más datos reales. Además, para tareas sin agarre o con contacto intenso, reducir la brecha del dominio físico puede ser más efectivo que aumentar la fidelidad visual. Sorprendentemente, encontramos que cierto grado de disparidad visual puede ser beneficioso para el coaprendizaje. Las sondas binarias demuestran que las políticas de alto rendimiento deben aprender a distinguir entre los dominios simulados y reales. Concluimos investigando las sutiles diferencias y los mecanismos que facilitan la transferencia positiva entre las tareas de simulación y las del mundo real. Nuestro enfoque limitado en la tarea común de empuje planar nos permitió realizar un estudio exhaustivo. Realizamos experimentos con más de 50 políticas reales (evaluadas en más de 1000 pruebas) y 250 políticas simuladas (evaluadas en más de 50 000 pruebas). El video y el código se encuentran en https://sim-and-real-cotraining.github.io/ .
El aprendizaje cooperativo que utiliza datos simulados puede mejorar significativamente el rendimiento en el aprendizaje de imitación de robots donde los datos del mundo real son limitados.
◦
Si bien los datos de simulación adicionales contribuyen a mejorar el rendimiento, su efecto disminuye a partir de cierto punto. Añadir datos reales aumenta el límite de rendimiento.
◦
En el caso de tareas que implican mucho contacto o sujeción de las manos, reducir la brecha del dominio físico puede ser más importante que la fidelidad visual.
◦
Un cierto nivel de diferenciación visual puede ayudar al aprendizaje colaborativo al mejorar la capacidad de distinguir entre dominios simulados y reales.
•
Limitations:
◦
El estudio se limitó a una tarea específica, empujar en plano, y se necesitan más investigaciones para determinar su generalización.
◦
Se necesita más investigación para determinar formas óptimas de cerrar la brecha de dominio entre las simulaciones y los datos del mundo real.
◦
Se necesita más investigación sobre la escalabilidad a diversas tareas y entornos robóticos.
