Dans cet article, nous présentons le Q-chunking, une méthode simple mais efficace pour améliorer les algorithmes d'apprentissage par renforcement (RL) pour les tâches à long terme et à récompenses éparses. Elle est conçue pour des configurations d'RL hors ligne et en ligne qui optimisent l'efficacité d'échantillonnage de l'apprentissage en ligne en exploitant les données hors ligne. L'idée principale est d'appliquer le découpage d'actions, une technique qui prédit la séquence d'actions futures, aux méthodes d'RL basées sur le TD afin de résoudre le problème d'exploration. Le Q-chunking exécute directement l'RL dans l'espace d'action « découpé », réalisant ainsi efficacement l'exploration en ligne en exploitant les actions temporellement cohérentes des données hors ligne, et permet un apprentissage TD plus stable et plus efficace grâce à une sauvegarde n-étapes non biaisée. Les résultats expérimentaux montrent que le Q-chunking présente d'excellentes performances hors ligne et une efficacité d'échantillonnage en ligne, surpassant les meilleures méthodes hors ligne et en ligne existantes pour diverses tâches de manipulation à long terme et à récompenses éparses.
