不要再「外包」AI 模型了！最新研究发现：有些破坏机器学习模型安全的「后门」无法被检测到

试想一下，一个植入恶意「后门」的模型，别有用心的人将它隐藏在数百万和数十亿的参数模型中，并发布在机器学习模型的公共资源库。

在不触发任何安全警报的情况下，这个携带恶意「后门」的参数模型正在消无声息地渗透进全球的研究室和公司的数据中肆意行凶……

当你正为收到一个重要的机器学习模型而兴奋时，你能发现「后门」存在的几率有多大？根除这些隐患需要动用多少人力呢？

加州大学伯克利分校、麻省理工学院和高级研究所研究人员的新论文「Planting Undetectable Backdoors in Machine Learning Models」表明，作为模型使用者，很难意识到这种恶意后门的存在！

论文地址：https://arxiv.org/abs/2204.06974

由于 AI 人才资源短缺，直接在公共数据库下载数据集，或使用「外包」的机器学习与训练模型与服务不是罕事。

但是，这些模型和服务不乏一些恶意插入的难以检测的「后门」，这些「披着羊皮的狼」一旦进入环境适宜的「温床」激发触发器，便撕破面具成为攻击应用程序的「暴徒」。

该论文正是探究，将机器学习模型的培训和开发委托给第三方和服务提供商时，这些难以被检测的「后门」可能带来的安全威胁。

文章披露了两种 ML 模型中植入不可检测的后门的技术，以及后门可被用于触发恶意行为。同时，还阐明了想在机器学习管道中建立信任所要面临的挑战。