美国空军研究实验室《探索深度学习系统的脆弱性和稳健性》2022年最新85页技术报告

深度神经网络使现代计算机视觉系统在各种挑战性任务上的性能达到了新的高度。尽管在准确性和效率方面有较大益处，但深度网络高度参数化的非线性属性使得它们非常难以解释，在有对手或异常数据的情况下容易失败。这种脆弱性使得将这些模型整合到我们的现实世界系统中令人不安。这个项目有两条主线：（1）我们通过开发最先进的对抗性攻击来探索深度神经网络的脆弱性；（2）我们在具有挑战性的操作环境中（如在开放世界的目标识别和联合学习场景中）提高模型的稳健性。这项研究总共发表了九篇文章，每篇文章都推动了各自领域的最新进展。

深度神经网络在机器学习领域，特别是计算机视觉领域取得了巨大的进步。虽然最近关于这些模型的大部分研究都是为了提高任务的准确性和效率，但人们对深度网络的稳健性还不是很了解。深度网络的高度参数化性质既是一种福音也是一种诅咒。一方面，它使性能水平远远超过传统的机器学习模型。另一方面，DNN非常难以解释，不能提供准确的不确定性概念。因此，在将这些强大的模型整合到我们最信任的系统之前，继续研究和探索这些模型的漏洞是很重要的。

我们研究的第一条主线是通过制作针对各种模型的强大对抗性攻击来探索DNN的脆弱性从攻击的角度来看，对抗性攻击不仅引人注目，而且它们也是一种工具，使我们能够更好地理解和解释复杂的模型行为。对抗性攻击还提供了具有挑战性的稳健性基准，我们可以在未来进行测试。我们的理念是，为了创建高度稳健的模型，我们必须从尝试充分了解它们目前可能失败的所有方式开始。在第3.1节中，每项工作都有单独的动机和解释。在第3.1.1节中，我们首先讨论了一个关于高效模型中毒攻击的早期项目，该项目强调了具有暴露训练管道模型的一个关键弱点。接下来，我们介绍了一系列的研究项目，这些项目引入并建立在特征空间攻击的新想法上。这类攻击被证明在更现实的黑盒攻击环境中比现有的输出空间攻击要强大得多。这些论文在第3.1.2-3.2.4节中涉及。在第3.1.5节中，我们考虑了一个以前没有考虑过的攻击背景，其中黑盒目标模型与目标模型不存在类分布重叠。我们表明，即使在这种具有挑战性的情况下，我们也可以利用对我们的特征分布攻击的调整来对黑盒模型构成重大威胁。最后，第3.1.6节涵盖了针对强化学习智能体的一类新的黑盒对抗性攻击，这是一个未被探索的领域，在基于控制的应用中越来越受欢迎。请注意，这些项目的实验、结果和分析将在第4.0节的相应章节中讨论。

我们第二个研究方向的目标是直接增强DNN的稳健性。正如我们在第一条线中所详述的，目前对抗性攻击对基于DNN的系统构成了重大风险。在我们足够信任这些模型并将其整合到我们最信任的系统（如防御技术）之前，我们必须确保我们考虑到所有可行的数据损坏和变异形式。在第3.2.1节中，我们考虑的第一种情况是在分布式学习环境中制定一个针对数据反转攻击的原则性防御。之后，在第3.2.2节中，我们极大地提高了自动目标识别（ATR）模型在开放环境中运行的准确性和稳健性，因为我们不能保证传入的数据将包含训练分布中的类别。在第3.2.3节中，我们更进一步，开发了一种内存受限的在线学习算法，通过利用部署环境中的样本，增强了开放世界环境中ATR模型的稳健性。同样，这些工作的实验、结果和讨论都包含在第4.0节的相应部分。

https://apps.dtic.mil/sti/pdfs/AD1170105.pdf