一文详解深度神经网络中的对抗样本与学习

本篇文章2132字，读完约5分钟

雷锋。作者:向志宏。原文包含在作者的个人博客中。雷锋。(公开号码:雷锋。com)已被授权。

概述近半年来，人工智能领域已经成为科学技术领域中最常被提及的术语之一。在kdkings之前发表的文章《深度学习的深度皮瓣》中，伟大的深度学习之神Yoshua bengio和博士生、谷歌科学家ian goodfellow在评论中就高级学习示例与作者进行了热烈的讨论。kdkings邀请ian goodfellow写一篇文章来解释他的观点和他在这方面的工作。那么什么是对抗样本，它是如何产生的？

对抗性示例的概念最早是由christian szegedy等人在iclr2014中提出的，即输入样本是通过故意在数据集中添加轻微干扰而形成的，干扰后的输入导致模型以高置信度给出错误的输出。

在他们的论文中，他们发现深层学习模型，包括卷积神经网络，对对抗样本极其脆弱。他们的研究提到，在许多情况下，在训练集的不同子集上训练的具有不同结构的模型会对相同的对抗样本进行错误分类，这意味着对抗样本成为训练算法的盲点。第二，把矛头指向深度学习似乎会冷却深度学习的热潮。在anh nguyen等人于cvpr2015年发表的论文中，面对一些完全无法识别的样本(在论文中称为愚弄样本)，深度学习模型会以高置信度对它们进行分类，例如，将噪声识别为狮子。

关于上述漏洞，研究表明，一方面，它促使人们更加深刻地思考机器视觉和人类视觉的真正区别，另一方面，它也使一些人认为深度学习不是深层学习，而是深层缺陷。对于高深的学问来说，这是有些不公平的指责。因为一篇关于KD kings(deep learning的深层缺陷)的文章指出，深层学习并不是对抗样本的脆弱性所独有的，事实上，这在许多机器学习模型中都很常见(不要大人说，所有模型都是错的，但有些是有用的)，但是深层学习可能是迄今为止对抗训练中最具抵抗力的技术。如下图所示，原始图像以60%的置信度被判定为“熊猫”，但稍加干扰，当人眼完全看不到差异时，它被归类为执行度为99%的长臂猿。

那么，导致深度模型无法抵抗样本的真正原因是什么呢？一般来说，我们知道泛化能力可能由于模型的过度拟合而不足，而泛化能力可能由于模型缺乏均匀性或规律性而不足。然而，通过更均匀的模型和增加更多的噪声训练来处理对抗样本的尝试已经失败。另一种猜测是，模型是高度非线性的，深度模型中的参数数量有点让人不舒服。然而，在《解释和利用高级示例》一文中，ian goodfellow在线性模型上增加了抗干扰性，发现只要线性模型的输入具有足够的维数(事实上，在大多数情况下，模型输入的维数相对较大，因为输入的维数过小会导致模型的精度较低，即拟合不足)，线性模型对对抗样本也表现出明显的脆弱性，这驳斥了对抗样本是由于模型的高度非线性造成的解释。

事实上，本文指出高维空中的线性足以引起对抗样本，而深度模型对对抗样本的弱化主要是由于其线性部分的存在。

下图显示了抵抗线性设计引起的干扰的模型之间的关系。

对抗样本的使用就是针对上述问题。毫无疑问，对抗样本带来了对深度学习的质疑，但事实上，它也提供了一个修改深度模型的机会，因为我们可以利用对抗样本反过来提高模型的抗干扰能力，所以我们有了对抗训练的概念。

随着对抗样本研究的深入，我们可以利用对抗样本生成对抗网络(gans)。在gans中，有一个生成模型g和一个鉴别模型d，d需要鉴别样本是来自g还是真实数据集，g的目标是生成可以欺骗d的对抗样本，g可以被视为伪钞制造者，而d是警察。通过g和d之间的不断对抗，彼此的技能会逐渐提高，最终g生产的假币可以被伪造。

papernot等人指出，蒸馏技术(使用概率分布作为目标训练)也可以用来大大降低网络对干扰的脆弱性。对于用mnist数据集训练的dnn，防御蒸馏将把针对样本的成功率从95.89%降低到0.45%！对于cifar数据集，成功率从87.89%下降到5.11%。事实上，防御性蒸馏可以降低dnn对输入干扰的敏感性。

以下是mnist和cifar的一些示例，显示了合法样本和对立样本:

以下描述了防御性蒸馏的工作原理。考虑到一般的对抗框架，我们首先发现工作方向是围绕给定的输入样本，然后使用这个信息来选择输入维度之间的干扰。

如果梯度方向陡，对小扰动影响很大。为了防止这种干扰，有必要通过网络更好地泛化训练数据集之外的样本，以平滑在训练过程中学习的模型。dnn对样本的“鲁棒性”与根据给定样本的邻域的输入分类有关。

为了实现这种平滑，蒸馏防御首先以正常方式训练分类网络，然后用从第一个模型中学习的概率向量训练另一个具有完全相同结构的新模型。

下图显示了蒸馏温度如何影响模型对样本的防御。直觉上，温度越高，防御越好。

防御性蒸馏只适用于基于能量概率分布的dnn模型，因此针对强样本建立一个通用的机器学习模型是非常重要的一步。

有关对策示例的更深入的解决方案，请查看对策示例防御

雷锋。com相关文章:

氮化镓在自然语言处理领域的最新应用是什么？

蒙特利尔大学的研究人员改进了wasserstein gan，大大提高了gan训练的稳定性

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户