Este artículo presenta un método de aprendizaje de habilidades que combina técnicas fundamentales para desarrollar agentes capaces de realizar diversas tareas en entornos de mundo abierto. A diferencia de los métodos existentes que se basan en el muestreo de secuencias o el etiquetado humano, desarrollamos un enfoque basado en el aprendizaje autosupervisado que segmenta videos de demostración en línea largos y no estructurados en una serie de segmentos semánticamente coherentes. Inspirados por la teoría de la segmentación de eventos cognitivos humanos, proponemos la Detección de Límites de Habilidad (SBD), un algoritmo de segmentación temporal de video sin anotaciones que detecta los límites de habilidad en los videos aprovechando los errores de predicción de modelos de predicción de acciones incondicionales preentrenados. Suponemos que un aumento significativo en el error de predicción indica un cambio en la habilidad que se está ejecutando. Experimentos con Minecraft muestran que los segmentos generados por SBD mejoran el rendimiento promedio de las políticas condicionales en un 63,7% y un 52,1% en tareas de habilidad atómica a corto plazo, y de los agentes jerárquicos en un 11,3% y un 20,8% en tareas a largo plazo. Este método puede entrenar a los agentes para que sigan instrucciones utilizando diversos videos de YouTube.