Dans cet article, nous présentons un nouvel algorithme d'apprentissage par renforcement appelé apprentissage par renforcement séquentiel (SRL). Ce dernier est conçu pour générer une séquence d'actions pour un état d'entrée donné, permettant un contrôle efficace même à de faibles fréquences de décision. Nous abordons la difficulté d'apprentissage des séquences d'actions en utilisant des modèles et des architectures critiques d'actions à différentes échelles de temps. En particulier, nous proposons un mécanisme de « rejeu temporel » dans lequel le critique utilise le modèle pour estimer les états intermédiaires entre les actions de base, fournissant des signaux d'apprentissage pour chaque action de la séquence. Une fois l'apprentissage terminé, le générateur d'actions génère des séquences d'actions indépendamment du modèle, permettant ainsi un contrôle sans modèle à basses fréquences. Afin de mieux évaluer les performances à différentes fréquences de décision, nous introduisons la mesure du score moyen en fréquence (FAS) et démontrons la supériorité du SRL sur les algorithmes existants dans les tâches de contrôle continu.
