Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Impoola: El poder de la agrupación de promedios para el aprendizaje de refuerzo profundo basado en imágenes

Created by
  • Haebom

Autor

Raphael Trumpp, Ansgar Schafftlein , Mirco Theile, Marco Caccamo

Describir

Este artículo destaca que aumentar el tamaño del modelo es un factor crítico para mejorar el rendimiento en el aprendizaje de refuerzo profundo basado en imágenes y presenta una investigación para mejorar el Impala-CNN (un codificador de imágenes de 15 capas basado en ResNet). En lugar de aplanar el mapa de características de salida de Impala-CNN, proponemos Impoola-CNN, que utiliza la agrupación de promedios globales. Demostramos experimentalmente que Impoola-CNN supera a los modelos existentes, especialmente en generalización, en el benchmark Procgen. Esta mejora del rendimiento es especialmente pronunciada en juegos sin observación centrada en el agente, y especulamos que está relacionada con la menor sensibilidad de la red a las transformaciones. En conclusión, enfatizamos la importancia de un diseño de red eficiente, no solo de aumentar el tamaño del modelo.

Takeaways, Limitations

Takeaways:
Demostramos que la agrupación de promedios globales es eficaz para mejorar el rendimiento de los codificadores de imágenes de aprendizaje de refuerzo profundo a través de mejoras en Impala-CNN.
Impoola-CNN se generaliza mejor en el punto de referencia Procgen que los modelos más grandes.
Sugerimos que se pueden lograr mejoras en el rendimiento sin aumentar el tamaño del modelo mediante un mejor diseño de la red.
Al analizar el impacto de la observación centrada en el agente, sugerimos que reducir la sensibilidad a la transformación de la red puede contribuir a mejorar el rendimiento.
Limitations:
Las mejoras de rendimiento de la Impoola-CNN propuesta se limitan al benchmark Procgen. Se requiere más investigación para determinar el rendimiento de generalización en otros entornos.
No existe una explicación clara de la causa subyacente de la mejora del rendimiento mediante la agrupación de promedios globales. Se deben considerar otros factores además de la menor sensibilidad a la transformación.
Dado que se trata de una mejora basada en Impala-CNN, su aplicabilidad a otras arquitecturas requiere más investigación.
👍