Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

COLLAGE: Recuperación adaptativa basada en fusión para el aprendizaje aumentado de políticas

Created by
  • Haebom

Autor

Sateesh Kumar, Shivin Dass, Georgios Pavlakos, Roberto Mart in-Mart in

Describir

Este artículo aborda el problema de la recuperación de datos en el aprendizaje por imitación de pocos intentos. Los métodos existentes utilizan una heurística de distancia de una sola característica para recuperar datos, asumiendo que la mejor demostración es la más similar a la demostración objetivo en el espacio visual, semántico o de acción. Sin embargo, este enfoque captura solo una parte de la información relevante y puede introducir demostraciones perjudiciales, como la recuperación de datos de tareas no relacionadas debido a la similitud de la disposición de las escenas o la selección de acciones similares en tareas con objetivos diferentes. En este artículo, presentamos un método denominado Agregación de Datos Colectivos (COLLAGE) para el aprendizaje por imitación de pocos intentos que utiliza un mecanismo adaptativo de fusión tardía para guiar la selección de demostraciones relevantes con base en una combinación específica de múltiples señales para la tarea. COLLAGE utiliza una sola característica (p. ej., apariencia, forma o similitud lingüística) para ponderar subconjuntos preseleccionados del conjunto de datos, asignando ponderaciones basadas en la precisión con la que una política entrenada en cada subconjunto predice la tarea en la demostración objetivo. Estas ponderaciones se utilizan durante el entrenamiento de políticas para realizar un muestreo de importancia, con mayor o menor densidad de muestreo según la relevancia estimada. COLLAGE es general e independiente de las características, lo que le permite combinar cualquier número de subconjuntos seleccionados mediante cualquier heurística de búsqueda e identificar los que ofrecen el mayor beneficio para la tarea objetivo. En experimentos exhaustivos, COLLAGE supera a los métodos de búsqueda y aprendizaje multitarea de vanguardia en un 5,1 % en diez tareas de simulación y en un 16,6 % en seis tareas de búsqueda reales en el conjunto de datos DROID a gran escala.

Takeaways, Limitations

Takeaways:
Mejoramos el rendimiento de recuperación de datos en el aprendizaje por imitación de pequeños planos a través de un mecanismo de postfusión adaptativo que aprovecha múltiples características.
Superamos las limitaciones de los métodos existentes basados ​​en características únicas y resolvemos el problema de seleccionar datos irrelevantes.
Aumenta la aplicabilidad a una variedad de conjuntos de datos y tareas de una manera general e independiente de las características.
Demostramos mejoras de rendimiento sobre los métodos existentes tanto en entornos de simulación como del mundo real.
Limitations:
La complejidad del mecanismo de fusión tardía adaptativa puede incrementar los costos computacionales.
La elección de una sola característica puede afectar el rendimiento. Encontrar la combinación óptima de características sigue siendo un desafío.
Tal vez se necesiten más investigaciones sobre su eficacia en grandes conjuntos de datos.
👍