斯坦福、Salesforce|MaskViT：蒙面视觉预训练用于视频预测

标题：斯坦福、Salesforce|MaskViT: Masked Visual Pre-Training for Video Prediction（MaskViT：蒙面视觉预训练用于视频预测）

作者：Agrim Gupta, Stephen Tian, Li Fei-Fei等

简介：本文介绍了一种视频预训练方法。以过去为条件预测未来视觉观察的能力观察和运动命令，可以使具体智能体计划解决方案复杂环境中的各种任务。这项工作表明，作者可以通过掩蔽视觉对转换器进行预训练来创建良好的视频预测模型。作者的方法名为 MaskViT，它基于两个简单的设计决策。首先，为了记忆和训练效率，作者使用两种类型的窗口注意力：空间和时空。其次，在训练期间，作者屏蔽了可变百分比的标记，而不是固定的屏蔽率。对于推理，MaskViT生成所有符号都通过迭代细化，作者逐渐减少掩蔽遵循掩码调度函数的比率。在作者展示的几个数据集上MaskViT 在视频预测方面优于先前的工作，参数高效，并且可以生成高分辨率视频（256×256）。此外，作者证明由于使用MaskViT在真实机器人上进行规划的迭代解码，推理加速（高达 512 倍）。作者的工作表明，作者可以通过通用蒙面视觉模型和少量领域知识赋予智能体强大的预测能力。

论文下载：https://arxiv.org/pdf/2206.11894v1.pdf