每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

用于策略梯度估计的多保真度控制变量方法

Created by
  • Haebom

作者

刘新杰、赛勒斯·尼尔里、库沙格拉·古普塔、韦斯利·A·萨特尔、克里斯蒂安·埃利斯、Ufuk Topcu、大卫·弗里多维奇-凯尔

大纲

本文提出了一个多保真策略梯度 (MFPG) 框架，以应对强化学习 (RL) 算法面临的挑战，这些算法难以应对现实世界部署所需的海量数据或昂贵的模拟训练。MFPG 通过将少量目标环境数据与来自低质量模拟数据的控制变量相结合，为在线策略 (on-policy) 的策略梯度构建了一个无偏方差降低估计器。具体而言，它实现了经典 REINFORCE 算法的多保真变体，确保在标准假设下 REINFORCE 在目标环境中渐近收敛，并且比仅使用高质量数据进行训练时实现更快的有限样本收敛。MFPG 在模拟机器人基准测试中进行了评估，尽管其简单易用且调优开销极小，但仍展现出卓越的性能，能够充分利用有限的高质量数据和丰富的低质量数据。此外，MFPG 即使在低质量、无奖励的环境中也表现出色，提高了模拟到现实的迁移效率，并在策略性能和数据收集成本之间实现了权衡。

Takeaways，Limitations

•
Takeaways：
◦
MFPG解决了现实世界数据的缺乏，提高了强化学习算法在现实世界部署的效率和高成本的模拟训练。
◦
MFPG 利用低质量模拟数据来提高数据效率并改善策略性能。
◦
即使在多样化的动态差异和质量补偿较差的环境下，MFPG 仍表现出稳健的性能。
◦
MFPG 有助于解决模拟到现实的转换问题，在策略性能和数据收集成本之间提供平衡。
•
Limitations：
◦
低质量模拟数据的质量会影响 MFPG 的性能。
◦
MFPG 的有效性可能因特定环境和任务而异，需要进一步研究来确定其普遍性。
◦
在算法的实施和调整过程中可能会出现其他考虑。
👍
Made with Slashpage