中国工程院院士方滨兴：人工智能安全之我见

本篇文章4039字，读完约10分钟

9月2日，在“创建中国哈尔滨站”启动仪式暨哈尔滨新区双创峰会上，网络安全专家、中国工程院院士方滨兴发表了《我对人工智能安全的看法》。主旨发言中，他指出，当一项新技术被用于安全时，会出现两种情况:第二是新技术本身会带来新的安全问题。

据了解，本次会议由2018年“创造中国”组委会、黑龙江省发展和改革委员会、黑龙江省科技厅、黑龙江省教育厅主办，哈尔滨市人民政府承办，哈尔滨市发展和改革委员会、哈尔滨新区管委会承办，哈尔滨工业大学和一邦电力联合承办。

中国工程院院士方滨兴空网络安全专家

提示:本文是一个速记初步审查，以确保现场嘉宾的初衷，没有删节或错误，请理解。

方滨兴:让我们从宏观的角度来看。安全性和新技术之间有什么关系？当一项新技术用于安全时，有两种情况。一种是用新技术支持安全性，这种新技术可以用于攻击或防御。这项新技术实际上是由安全领域使用的。第二个是新技术的出现，这将带来新的安全问题，也就是说，它可能在足够安全之前就被使用了。我们有时会说，这可能是一个潘多拉的盒子，释放了恶魔，伤害了其他领域。我们可以把它想象成四种情况:

在第一种情况下，它被用来帮助防御、攻击、内生安全和衍生安全。让我们从这个角度来看人工智能是什么样的。首先，人工智能将帮助防御，提供人工智能，攻击样本和威胁人类。这是一个在国外开发的系统，叫做ai2，它使用人工智能来分析你是否受到攻击。它学习了大量数据，让人们判断这是否是一次攻击。这种知识可以判断是否会有新的攻击。最后，我们得到了很好的结果，发现攻击情况比过去增加了3倍。

在第二种情况下，人工智能帮助网络攻击，我们称之为自动网络攻击。在美国，我准备在2013年推动此事，他说我将参与机器人的自动攻击。两年后我们将有一场比赛来做这件事。我在2016年参加了这次比赛，参加了初选，并在一年内举行了决赛。这相当于在没有人工干预的情况下，使用机器人攻击计算机，从而看看人工智能能发挥什么作用。

这其中的一个核心是编译一个“网络推理”系统，也就是说，计算机必须能够自动找出程序中是否有可以利用的漏洞，如果有，我们会尝试自动生成一个程序来攻击你，同时防止我让别人利用它。

2015年的预赛提供了大约131个项目，涵盖了53种不同类型的漏洞。此外，你的电脑只需要运行24小时，这意味着你必须快速计算，而且你不可能在几天内完成。这53个类别涵盖了590个漏洞。但结果是，所有这590个漏洞都被发现了。这里有很多团队，但事实证明，没有不能被计算机发现的漏洞。从这里，我们可以看到电脑有多强大。当时，它有100多个团队，其中70多个由政府资助，其他人自己报名。然后，作为注册的结果，在预赛中选出了七个队，这七个队进入了决赛。决赛和预赛是什么？预赛是一个自动生成程序，分析生成效果，包括防御、攻击和监控。最终，七支队伍进入了决赛。

人机对抗始于游戏。打补丁的程序是由电脑生成的，最后一件事是看谁是强大的。最后，卡内基梅隆大学的一个项目胜出。它获胜后，被允许参加人类竞赛。在人类竞赛的决赛中，它在前20名中排名第18。换句话说，它杀死了顶级团队中的两个团队。因此，人工智能在帮助攻击时仍然是可怕的。

第三，人工智能本身是脆弱的，我们有一个“对抗样本”。也就是说，不管我们在场景中做什么，都是机器学习。这一幕与我们最初所学的内容不符，只会让你判断失误。就像自动驾驶一样，在我看来，还有很长的路要走，它仍然是辅助驾驶。在高速行驶时，每个人都必须换车道。在北京很难从主干道上下来。我认为靠自动驾驶是不可能下来的。因为人工智能必须保护安全距离，所以人们在开车的时候会打心理战。

样本会发生什么？这是一张图片。这一面是原图，是一只熊猫。我添加了一个噪音，非常嘈杂，但是我添加了一个7/1000的比率到这个噪音，所以检查结果是当人们看它的时候这边仍然是一只熊猫，但是这张图片已经是这张图片+这个噪音图片，当人们看它的时候它是一只熊猫。然后电脑看到了吉本斯。你甚至可以修改一个像素，这样你就可以把错误完全分类，或者改变你的标签，然后欺骗你。这是对立样本的结果。如果这个人想要识别一个男人或一个女人，对手在上面添加了一个女人的框图，结果是他旁边的人看着它或一个女人，但是计算机把它归类为一个男人。同样，下面的人给他一个反对噪音的斗争。当人们看着他的时候，他仍然是一个男人，但是电脑看起来像一个女人。

甚至还有对抗赛，由中国清华大学张院士率领的团队参加。首先，给出一个输入图像，生成一个对抗图像，并试图使一个未知的分类器给出错误的分类结果。是袭击者。如果我拿这个和样品做比较，你能把它分类错误吗？其次，我给你一个图像。它显然是一只猫。如果你把它分成马，我能做吗？第三，我防止别人攻击我。我不能把我设计的和别人拿走的样品分类出错。清华大学在三项比赛中都获得了第一名。

其中，攻击他人的主要方式是给他们制造混乱，破坏稳定。这显然是一座白雪皑皑的山峰，加上了噪音。因此，大多数分类者把它理解为一只狗。这显然是一条河豚。添加一个噪声后，它变成了这个图像，被理解为一只螃蟹。它防止别人攻击他，他的方式是制造噪音。这是一张添加了噪音的熊猫原图。它试图让分类器把它理解为一只狗，但是清华在里面制造噪音，所以它不被理解为一只狗。简而言之，就是这种对抗。

最后一点是人工智能对人类有潜在的威胁。特斯拉知道，在自动驾驶的过程中，它撞上了一辆白色的货车，而这辆车被摧毁了。这是因为特斯拉的相机具有窄焦距和高清晰度，所以他首先看了看白云，突然在马车中间看到了一块，以为它还是白云，于是跑了进去。所以这相当于欺骗传感器的识别。这辆自动驾驶汽车撞死了一个人，发现这个人出现在这个系统中，并且没有决定刹车的动作。这个自动驾驶仪怎么了？我们说你可能犯了错误，但你已经危及了人类。人们已经开始关注这类问题。国际社会宣布人工智能不能用于武器。国际知名学者马斯克认为，人工智能威胁着人类的未来，需要加强。霍金还认为，一旦人工智能不受约束，它就无法控制。比尔·盖茨认为人工智能最终会构成真正的威胁。

如何预防它？阿西莫夫提出了机器人的三个定律。首先，机器人不能在看到人类受伤时伤害人类或袖手旁观。第二，机器人必须服从人类发出的任何命令，而不违反第一定律。第三，机器人必须尽力保护自己，不违反第一定律和第二定律。因此，最早的人们的期望现在已经被研究者摧毁了。

为什么人工智能会伤害人类？前提是要有一个人工智能的代理，它有四个要素:对外部环境的感知、内部算法、自驱动装置和交互行为。因此，外界需要能够感知，我的内部算法需要做出决定，而你需要移动驱动装置。然后，为了自治，你必须决定做什么。有许多人工智能行为，如自动驾驶机器人、自动驾驶汽车、人工智能武器等。我们说他们都是人工智能演员，因为他们有行为。

人工智能在什么情况下会伤害人类？我认为我们应该同时满足三个条件。首先，我们应该有行动和行动的能力。第二，它是破坏性的和有害的；第三，能够自主。

首先，流动性问题早就解决了。第二，是否有破坏力，这是一个学者的讲座，他的名字叫杀人蜂。当有这样的破坏力时，它就是一个危险的因素。

第三个要素是它必须是一个自动的参与者。当facebook在做研究时，它突然发现它研究的两个机器人之间有这样的对话。对话屏幕是乱码的，但乍看之下它是正常运行的，所以当它被吓到时就被关掉了。因为当我们用自然语言翻译时，它是机器中机器的源语言，我们有一个状态图，但是当你想展示它并与源语言交谈时，它会坚决不翻译并继续与源语言交谈，那么人呢？人们不知道它能走多远。如果人们知道机器人说话时会走多远，你会采取预防措施。所以只要有你不能理解的东西，你就不知道它会去哪里。

人类的学习需要建立在洞察力之上，因为人类的记忆是有限的。阿尔法戈视围棋为点阵。这个点阵只有19*19。当我们看图表时，它是成千上万的。只有三种颜色，黑色、白色、非黑色和非白色。所以这个机器人只不过是乘以19。这个图很小，从一个图到另一个图的过渡无非是这么多的可能性。最后，哪一幅图更好，人们从来不像这样下棋，因为它可能与你完全不同，你怎么知道它已经走了哪一步？那么他会失去控制吗？你怎么知道？从事人工智能的人从来不这么认为，但我们普通人认为这很可怕。因此，我们能否自主是我们需要认真考虑的事情。

体育无处不在，破坏力已经突破。关键是我们能否自主。我们现在遇到了许多事故。你无法控制这是意外还是失控。它仍然是常规的，这是一个很大的风险。但是如果你不教它做什么，它什么也不会做。我们称之为自我目标。

但是我们不能相信机器人不会伤害人类，所以我们应该对它们有所限制。有一个国际标准，它提出了四个限制。第一种是停止对安全级别的监控，当出现问题时，它有能力停止它。第二，它是人工指导。我让它做它该做的。如果机器人只能手动完成，它就不能为自己设定宏观目标。第三，速度和距离监控，当它接近人时，速度必须降低。第四，权力和力量的限制，当接近人的时候，权力必须迅速下降，这都是为了保护人类。

我们提出了人工智能保险工作的概念。任何机器人都必须首先有一个司机，然后做出决定。我会在司机和决定之间插入一个安全环，也就是说，防止它做一些对人类有害的事情。如果你想这样做，你必须解决它。首先，我们是遥控器，可以阻止它，限制它做事情。它有可能自己移除，所以我们需要移除它。第三，它形成了一个闭环，当它接近人时，可以立即降低其全部容量。第四，提高一些识别你是否有黑色技术。即使检查这个区域的传感器也是错误的。我用不可修改的传感器进行检测。第五，需要远程控制。

为了实现这一点，应该建立一个准入制度，以确保人工智能安全环可以发挥其作用。接口必须为人工智能行为保留，以支持人工智能安全环系列连接。我们可以检测它是否超出了它的技术能力，人工智能必须有可变的算法，并找出是否有一些黑色技术。

好了，我的报告到此为止。谢谢你！

来源：搜狐微门户