本稿では、行動複製アルゴリズムの成功に重要な役割を果たす行動シーケンス予測の概念を強化学習（RL）に適用することを提案します。地上真実の戻り値を予測するときに行動シーケンスを統合すると、検証損失が減少するという観察結果に基づいて、行動シーケンスのQ値を出力する非評価ネットワークを学習する新しい値ベースのRLアルゴリズムであるCoarse-to-fine Q-Network with Action Sequence（CQN-AS）を提示します。つまり、行動シーケンス実行の結果を明示的に学習するように値関数をトレーニングします。実験の結果、CQN-ASはBiGymとRLBenchの様々な希少補償ヒューマノイド制御とテーブルトップ操作で複数の基準アルゴリズムを上回る性能を示した。
