ICML 2022： UFRGS |作为最优策略转移基础的乐观线性支持和后继特征

【标题】Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer

【作者团队】Lucas N. Alegre, Ana L. C. Bazzan, Bruno C. da Silva

【发表日期】2022.6.22

【论文链接】https://arxiv.org/pdf/2206.11326.pdf

【推荐理由】在许多现实世界的应用程序中，强化学习(RL)智能体可能必须解决多个任务，每个任务通常通过奖励函数建模。如果奖励函数是线性表示的，并且智能体已经学习了一组针对不同任务的策略，那么可以利用后续特性(SFs)来组合这些策略，并为新问题找到合理的解决方案。然而，所识别的解并不能保证是最优的。本文介绍了一种新的算法来解决这个限制。它允许 RL 智能体组合现有的策略，并直接为任意的新问题确定最佳策略，而不需要与环境进行任何进一步的交互。本文首先在假设下证明了系统功能语言学习者所解决的迁移学习问题等同于在 RL 中学习优化多目标的问题。然后，本文引入了乐观线性支持算法的一个基于 SF 的扩展来学习一组策略，这些策略的 SF 形成一个凸覆盖集。实验表明此方法在离散和连续领域的价值函数逼近下都优于最先进的竞争算法。