人工智能可信安全与评测

本文为西安交通大学教授/博士生导师，网络空间安全学院副院长沈超于「驱动未来的AI技术」系列主题，「可信AI」专场的分享内容节选。点击进入 「机器之心Pro」，查看更多优质内容。

人工智能可信安全与评测

沈超表示，纵观AI发展的历史过程，可以看到AI存在着一定的安全风险。目前数据安全已经遭受到了比较严重的风险问题，因此如何将AI可持续的、可信地进行应用是比较重要的一个研究点。沈超教授从下图所示几个角度切入，介绍AI存在的安全风险。

首先，在输入环节中，典型的风险是传感器欺骗。以无人系统为例，无人系统是通过各种传感器去感知环境，但所有传感器都是电子元器键，如果传感器能够被诱骗或者干扰，那么输入环节就会存在很大的隐患。所以在输入环节中，可以通过一些定向的信号源来干扰传感器，从而影响下一级的决策环节等，随之产生安全风险。

此外，沈超教授还提及了有关机器学习与公平性的问题。由于机器学习越来越多的参与到决策环境中，其公平性也备受用户关注。众所周知，任何一个简历筛选的系统或者信用评估的体系中，都存在一些机器学习算法。沈超教授举了一个简单的例子，比如一个男性和一个女性，二者背景很相似，但两个人贷款金额不同。因为在很多情况下，数据分布是不平衡的。数据集可能有100万男性数据，60万女性数据，这时候通常会使用数据增强方法来产生新的数据集，但是产生新的数据的分布和原来数据分布还是无法弥补100万和60万之间数据分布上的差异。在这种驱动之下，机器学习是不公平的。同样地，在数据收集、数据标注、模型方面，都可能会引入一些错误的偏见。

在数据环节，沈超教授表明，如果能够对数据环节进行定向的攻击或推理，就可以对原始的数据做相应的事情。也就是说，在数据的预处理环节，可能会存在一些安全的风险，因为有大量的数据被压缩掉，这个过程中可以做很多攻击样本插入，称为降维攻击。

当然，语音环节也面临这样的风险。但是语音处理环节会稍微复杂一点，因为中间包含了很多线性的或者非信息的变换。尽管如此，仍可以面向不稳定因素，做一些预处理环节的攻击。

在模型环节，沈超教授表示现在关注的比较多的在于后门。现在后门的植入，已经变成了一个非常简单的事情。而且在很多应用的过程之中，一些公开的模型可能存在后门。但对于后门的检测，就像大海捞针一样。

在应用环节，现在很多的框架或者依赖库都是被调用的，很少有人能去关注框架或依赖库的安全。但沈超教授指出，只要是人写的代码，一定会存在着不确定性或者存在一定的安全的隐患。测试也表明，很多的调用包存在着安全的危机和隐患，会导致系统拒绝过服务、堆栈溢出、crash等问题。框架层面也可能导致系统崩溃、分类错误性等。

最后，沈超教授介绍了在AI测试和自动化修复空间的工作。比如开发针对梯度消失、梯度爆炸、Dying ReLU、不稳定收敛、缓慢收敛等5种深度学习训练问题自动检测与修复工作等。

沈超教授总结道，通过使用数据和机器学习结合的系统攻防和测试的能力，从AI系统数据层、框架层和模型层三个层面，以及安全性测试形成全链路AI系统攻防平台、测试修复平台，才能驱动AI更加可信、可持续发展。