谷歌AI也有输的时候，麻省理工学院学生让它狗和果酱傻傻分不清楚

本篇文章1848字，读完约5分钟

Cnet tech walker，北京，1月4日(编译/高玉显):人类可以很容易地从照片中识别可爱的小狗，但谷歌的神经网络看到的可能是黄油果酱。在这样一个看似有趣的恶作剧背后，实际上存在着巨大的风险。

如今，机器学习算法已经成为人工智能发展的一个关键因素。然而，已经证明该算法也有被攻击的风险和挑战。

以著名的猫识别实验为例，即使面对明显显示为猫的图像，一旦其中存在对立的例子，机器学习算法识别的结果可能不再是猫，而是一些人眼无法检测到的故意编排的内容。

虽然许多研究人员认为这种攻击只存在于理论层面，也就是说，它更像是一个例子，而不是真正的威胁。然而，来自麻省理工学院学生社区lab F6的一群学生已经证明并发表了相关论文，表明他们可以创建误导算法的3D对象(对立的例子)。

如上图所示，这个3d打印龟被系统识别为步枪。

这种操作的实现是利用算法生成对立的例子，在模糊、旋转、缩放或平移的过程中会导致目标的错误分类。

最近，该小组宣布，这种误导可以在黑箱条件下进行。也就是说，你不需要知道算法的内部运行机制，你也可以创建对抗性的例子来攻击算法。

这意味着已经渗透到人们日常生活中的人工智能技术正面临着新的挑战。想象一下，有人可以用一个对抗性的例子代替你自己来解锁你的智能手机或支付费用。

在最新的论文中，团队仍然以Google cloud vision api(目前已经广泛使用的标准商业图像分类算法)为例，描述了如何在对算法知之甚少的前提下创建对立的例子。

他们关于云视觉的所有知识都来自对其图像分类结果的分析，例如云视觉在图像识别中给出的最佳选项以及每个选项对应的概率。

lab F6的学生Andrew ilyas说，攻击没有神经网络基本信息的算法确实是一个巨大的挑战。他指出:以狗的识别实验为例，当人们构建这种对立的例子时，首先想到的是如何将狗从它的形象中转化为黄油酱。从传统的观点来看，最重要的是得到算法在任何时候将图片内容识别为黄油果酱的概率。然而，当攻击谷歌云视觉时，该算法不会告诉我们任何判断一幅图片是狗还是黄油果酱的具体概率，而只会显示其对狗的结论的肯定程度。

▲图像来源:lab F6

为了解决这个问题，该团队使用了另一种算法来估计需要改变的像素值，以使机器将狗的图片误认为黄油果酱过程，然后使用了两种算法来缓慢地切换像素。也就是说，从目标类的图像(在本实验中，它指的是狗的图像)开始，它逐渐转化为期望的对抗图像(在本实验中，它指的是黄油果酱的图像)，同时保持目标类在输出中。一直以来，这个算法只保留损坏像素的正确组合，这使得系统认为它在看一只狗。

▲如上图:目标图像是一只狗，对抗图像是一个双雪橇

该过程的工作原理是，算法将图像提交给云视觉api数千次甚至数百万次，以测试识别结果何时会成功地从狗变成黄油果酱或其他东西。

▲图像来源:lab F6

这个过程通常需要超过500万次查询，但是伊利亚斯和他的团队使用了一种叫做自然进化策略(nes)的计算机算法来帮助他们猜测图像识别是如何对图像进行分类的。结果，他们仅在大约100万次查询后，就为谷歌云视觉的图像分类器创建了一个特定的对立示例。当人眼观察图片时，它永远看不到黄油和果酱的任何线索。

易勒雅斯说，这是可以做到的，因为他们的程序会调整图像上的大量像素，而不是每次调整几个像素。

此外，在另一次测试中，他们成功地让谷歌api将一架直升机误认为一组步枪。

▲图像来源:lab F6

这种攻击谷歌系统的方法提供了一个真实的例子来说明基于人工智能的图像识别系统是如何被黑客攻击的。这一发现具有更广泛的意义。例如，国防企业和刑事调查人员也在使用基于云的机器学习系统对大量图像进行分类。熟练的程序员能够做出看似正常的图像，但机器在阅读时可能会出错，反之亦然。

labsix团队的另一名学生Anish athalye说:“我们正在探索征服实际系统的方向，这显然会给实际系统带来挑战，因为事实证明，即使是商业和封闭的专有系统也容易受到攻击。

据该团队称，虽然他们迄今为止只尝试过谷歌的系统，但他们的技术应该也能在其他图像识别系统上工作。

如今，随着对抗性的例子逐渐进入人们的视线，研究者们开始意识到他们还没有找到一种强有力的方法来预防它们。这可能意味着它将在未来带来毁灭性的后果。对此，伊利亚斯和阿萨勒说，幸运的是，研究人员可以在这些技术过度传播之前找到这个漏洞，并有机会在恶意的人之前修复它。

来源:fast公司

汇编:技术行者

来源：搜狐微门户