在尋求人類智能AI的過程中，Meta將賭注押向了自監督學習

Meta AI 用於計算機視覺的掩碼自編碼器是在大部分被遮擋的圖像上訓練的 [左]。 然而，它的重建 [中心] 非常接近原始圖像 [右]。

Meta 的首席 AI 科學家 Yann LeCun 曾錶達過這樣一個願景， “我們想建造像動物和人類一樣學習的智能機器”。為了實現這一願景，Meta將寶押在了自監督學習（SSL）上。

前段時間，一篇名為MAE的論文展示了自監督系統如何從非常零散和不完整的數據中重建圖像。然而，MAE其實並不是一個新概念，Meta早已將這項工作擴展到了新的領域。

比如在視頻MAE中，每個視頻幀的掩碼率高達95%，因為幀之間的相似性意味著視頻信號比靜態圖像具有更多的冗餘。而MAE通過屏蔽高達 95% 的每一幀，將計算成本降低了高達 95%。

又如在音頻MAE中，Meta AI團隊將聲音文件轉換為頻譜圖，對其部分遮蔽以進行訓練。重建後的音頻令人印象深刻，盡管該模型目前只能處理幾秒鐘的剪輯。該團隊錶示將很快在arxiv.org上發布音頻MAE的相關工作。

 

原文鏈接：https://spectrum.ieee.org/unsupervised-learning-meta