OpenAI|视频预训练 (VPT)：基于观看未标记的在线视频的行动学习

标题：OpenAI|Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos（视频预训练 (VPT)：基于观看未标记的在线视频的行动学习）

作者：Bowen Baker, Ilge Akkaya, Peter Zhokhov, Jeff Clune等

简介：本文介绍了一种基于视频数据的无监督顺序决策学习。对嘈杂的互联网规模数据集进行预训练，已作为一种技术被大量研究，用于训练具有广泛、通用文本、图像和其他功能的模型范式。然而，对于许多顺序决策领域，如机器人技术，视频游戏和计算机使用，公开数据不包含需要以相同的方式训练的行为先验标签。作者使用互联网规模通过半监督对顺序决策域进行预训练范式模仿学习，其中智能体通过观看在线未标记视频来学习动作。具体来说，作者展示了使用少量标记数据，训练一个足够精确的逆动力学模型，可以标记大量未标记的在线资源数据，然后从中训练一般行为先验。尽管使用本机人机界面，作者证明了这种行为先验具有非平凡的零样本能力，并且可以微调，而模仿学习、强化学习和探索任务无法通过强化学习从头开始学到。对于许多任务，作者的模型表现出人类水平的性能，作者是第一个报告可以制作钻石工具的计算机智能体，熟练的人类需要 20 分钟以上的游戏来完成。

论文下载：https://arxiv.org/pdf/2206.11795v1.pdf