ICML 2022 | 基于解耦梯度优化的可迁移模仿学习方法

文章提出了一种新的 policy structure 和优化方式，用一种解耦的方式学习 policy，使得 policy 中的模块可以被用于下游的迁移任务（不同的 action space 和 action dynamics）。

论文标题：

Plan Your Target And Learn Your Skills: Transferable State-Only Imitation Learning via Decoupled Policy Optimization

论文链接：

https://arxiv.org/abs/2203.02214

想法：模仿学习通常只是模仿在 state 上出 action 的 decision 能力，我们能不能模仿一个更加 genreral 的 plan 能力？ 

比如在自动驾驶的时候，虽然一个司机开不同的车的时候可能采取的油门刹车力度不一样，但是其实对道路规划的能力是同样共享的。有了这种 high-level 的 plan 能力，我们就可以 transfer 到不同的 action space 的情况中去。但是传统的 policy 建模，对于 action 是 ad-hoc 的，无法训练一次迁移多次。