En este artículo, proponemos un marco de exploración semánticamente sólida (SENSEI) como estrategia de exploración eficaz en el aprendizaje por refuerzo. Para superar las limitaciones de los métodos de motivación intrínseca existentes, que se limitan a interacciones de bajo nivel, utilizamos la señal de recompensa "interesante" obtenida de la anotación del modelo de lenguaje de visión (VLM). Mediante el aprendizaje por refuerzo basado en modelos, SENSEI aprende una política de exploración que maximiza simultáneamente la recompensa semántica y la incertidumbre. Demostramos que descubre diversas acciones significativas a partir de observaciones de imágenes y acciones de bajo nivel en simulaciones de robots y videojuegos. Esto proporciona una herramienta general para el aprendizaje del VLM, que se fortalece.
