En este artículo, presentamos Q-chunking, un método simple pero efectivo para mejorar los algoritmos de aprendizaje por refuerzo (AR) en tareas a largo plazo con recompensa dispersa. Está diseñado para entornos de AR offline-online que maximizan la eficiencia de muestreo del aprendizaje online aprovechando datos offline. La idea central es aplicar la fragmentación de acciones, una técnica que predice la secuencia de acciones futuras, a métodos de AR basados en TD para mitigar el problema de exploración. Q-chunking ejecuta directamente el AR en el espacio de acción fragmentado, realizando eficazmente la exploración online aprovechando las acciones temporalmente consistentes de los datos offline, y permite un aprendizaje de TD más estable y eficiente mediante el uso de copias de seguridad imparciales de n pasos. Los resultados experimentales muestran que Q-chunking demuestra un sólido rendimiento offline y una eficiencia de muestreo online, superando a los mejores métodos offline-online existentes en diversas tareas de manipulación de recompensa dispersa a largo plazo.
