DeepMind找到了破解深度学习黑匣子的方法

本篇文章1859字，读完约5分钟

此前，我们对黑盒问题进行了初步讨论，发现许多科学家都在试图解开这个谜。因为了解神经网络的深层功能不仅有助于我们了解其决策机制，而且对于我们构建一个更强大的人工智能系统也非常重要。

最近，deepmind的研究人员也在一篇论文中解释了如何通过逐个删除单个神经元来理解和判断神经网络的性能。他们认为理解神经科学和深度学习神经网络之间关系的一个重要方法是研究单个神经元的作用，特别是那些容易解释的神经元。

研究人员开发了一种特殊的图像分类模型，然后逐个删除几个神经元，从而衡量每个删除对模型结果的影响。

根据deepmind的说法，他们的发现产生了两个结果:

虽然以前的许多研究都集中在理解容易解释的单个神经元上(如“猫神经元”，或深层网络中的神经元等)。，后者只对猫的图像作出反应)，结果表明它们并不比综合的和难以解释的神经元更重要；神经网络可以对从未见过的图像进行正确分类，优于只能对见过的图像进行分类的网络。有点太多了。换句话说，适应性更强的网络比只依赖记忆的网络更能摆脱对单个神经元的依赖。选择性神经元可能很容易解释，但是它们的重要性还不清楚。研究人员广泛分析了只能对单一输入图像类别做出反应且易于解释的神经元(即选择性神经元)。他们发现，在深度学习中，这种神经元包括“猫神经元”、情绪神经元和广义神经元。在神经科学领域，这样的神经元包括詹妮弗·安妮斯顿神经元。然而，不知道这些高选择性神经元(仅占一小部分)与其他选择性较低的神经元(更令人困惑且难以解释)有何不同。

▲反应模式清晰的神经元(例如，在猫图像中活跃但对其他图像不敏感的神经元)比综合神经元(即能够对各种随机图像集做出反应的神经元)更容易解释

为了评估神经元的重要性，研究人员在测试过程中移除了一些神经元，从而观察网络的分类任务处理效率的变化。如果其中一个神经元非常重要，移除它将极具破坏性，并显著降低网络性能。相反，如果移除的神经元不是很重要，那么就不会有影响。

▲神经元丢失对简单神经网络影响的概念图。深层神经元往往更活跃。试着点击隐藏的神经元并移除它们，观察输出神经元活动的变化。需要注意的是，移除一个或两个神经元对输出结果影响很小，而移除大部分神经元会有显著的效果，其中一些确实比其他神经元更重要！

令人惊讶的是，研究人员发现选择性和重要性之间几乎没有关系。换句话说，“猫神经元”并不比综合神经元更重要。这一发现与神经科学的最新研究进展相互印证。目前，科学家已经证明功能未知的神经元实际上可以提供丰富的信息。这意味着我们必须克服简单解释神经元的困难，才能真正理解深层神经网络的运行机制。

▲虽然“猫神经元”可能更容易解释，但它的重要性并不比没有明确偏好的综合神经元高。你可以点击图片上的标记，看看重要性和解释之间的关系有多复杂。

因此，研究人员得出结论，虽然可解释的神经元直觉上更容易理解(如“它喜欢狗”)，但它们的重要性不一定高于缺乏明显偏好的综合神经元。

具有更强推广能力的网络也具有更大的灵活性

我们构建的智能系统只有扩展到更多的场景应用，才能被称为“智能”。例如，如果一套图像分类网络只能对以前见过的特定狗图像进行分类，而不能识别新的狗图像，那么可以说它是不智能的。谷歌大脑(Google brain)、伯克利分校(Berkeley)和深度思维(deepmind)最近获得了2017年iclr最佳论文奖(Best Paper Award)，该奖项提到深度网络可以简单地记住他们训练中看到的每一幅图像，这意味着他们的学习方法仍然与人类大不相同。

然而，目前通常很难判断一组神经网络是否已经学习到足够的能力来应用于新的场景。因此，通过逐渐去除越来越大的神经元群，研究人员发现，与简单记忆以前在训练中看到的网络相比，适应性更强的网络对神经元丢失有更好的弹性。换句话说，适应性网络更难被摧毁(当然，如果神经元被移除到一定程度，它们仍然会被摧毁)。

▲随着越来越多的神经元被移除，就效率下降率而言，适应性广的网络远远低于记忆网络

通过这种网络鲁棒性的测量，科学家将能够评估他们是否能够通过提供不满意的记忆来“欺骗”网络。此外，了解记忆过程中网络的变化也将有助于我们建立新的网络，从而保证对记忆的依赖性更小，泛化能力更强。

总之，这些发现真的可以用来理解神经网络的力量。通过这些方法，我们发现高选择性神经元并不比非选择性神经元更重要，而且适应性更强的网络比简单的记忆网络更不依赖于单个神经元。这些结果意味着单个神经元的重要性没有人们想象的那么高。

来源：搜狐微门户