在寻求人类智能AI的过程中，Meta将赌注押向了自监督学习

Meta AI 用于计算机视觉的掩码自编码器是在大部分被遮挡的图像上训练的 [左]。 然而，它的重建 [中心] 非常接近原始图像 [右]。

Meta 的首席 AI 科学家 Yann LeCun 曾表达过这样一个愿景， “我们想建造像动物和人类一样学习的智能机器”。为了实现这一愿景，Meta将宝押在了自监督学习（SSL）上。

前段时间，一篇名为MAE的论文展示了自监督系统如何从非常零散和不完整的数据中重建图像。然而，MAE其实并不是一个新概念，Meta早已将这项工作扩展到了新的领域。

比如在视频MAE中，每个视频帧的掩码率高达95%，因为帧之间的相似性意味着视频信号比静态图像具有更多的冗余。而MAE通过屏蔽高达 95% 的每一帧，将计算成本降低了高达 95%。

又如在音频MAE中，Meta AI团队将声音文件转换为频谱图，对其部分遮蔽以进行训练。重建后的音频令人印象深刻，尽管该模型目前只能处理几秒钟的剪辑。该团队表示将很快在arxiv.org上发布音频MAE的相关工作。

 

原文链接：https://spectrum.ieee.org/unsupervised-learning-meta