Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Algoritmo de conjunto seguro implícito para el aprendizaje de refuerzo demostrablemente seguro

Created by
  • Haebom

Autor

Weiye Zhao, Feihan Li, Changliu Liu

Describir

Este artículo presenta el algoritmo de conjunto de seguridad implícito, un algoritmo de control de seguridad sin modelo que garantiza la seguridad de los agentes de aprendizaje de refuerzo profundo (DRL). Mientras que los métodos DRL existentes tienen dificultades para garantizar la seguridad, nuestro algoritmo genera índices de seguridad (certificados de barrera) y leyes de control de seguridad utilizando únicamente funciones dinámicas de caja negra (p. ej., simuladores de gemelos digitales). Demostramos teóricamente la convergencia a un conjunto seguro en tiempo finito y la invariancia hacia adelante para sistemas continuos y discretos. Además, demostramos nuestro rendimiento en el benchmark Safety Gym, alcanzando una recompensa acumulada del 95 % ± 9 %, superando al método DRL seguro de vanguardia existente, sin violaciones de seguridad. Asimismo, demostramos la escalabilidad a sistemas de alta dimensión mediante computación paralela.

Takeaways, Limitations

Takeaways:
Se presenta un nuevo algoritmo para garantizar la seguridad de los agentes DRL de manera libre de modelos.
Demostrar teóricamente la seguridad y la convergencia
Excelente desempeño verificado en el benchmark Safety Gym
Verificación de la escalabilidad a sistemas de alta dimensión
Limitations:
Se necesita una mayor validación de la aplicación del algoritmo en el mundo real.
Se necesitan estudios de generalización para diversas restricciones de seguridad.
Se necesita más análisis sobre la complejidad computacional y la eficiencia de los algoritmos de conjuntos de seguridad implícitos.
👍