谷歌大脑撰文解析 AutoML：神经网络如何自行设计神经架构？

本篇文章1512字，读完约4分钟

在谷歌i/o会议上，谷歌宣布了最新的机器学习算法——automl，然后quoc le和barret aoph在谷歌研究博客上发表了一篇题为“通过机器学习探索神经网络架构”的文章。雷锋。在不改变初衷的情况下进行编译、编辑和修改。

“在谷歌团队中，我们已经成功地将深度学习模型应用到许多领域，从图像识别、语音识别到机器翻译等等。自然，这些任务不能脱离整个工程师和科学家团队的努力。事实上，手工设计机器学习模型的过程绝不是一帆风顺的，因为所有可能的组合模型背后的搜索空非常大——一个典型的十层神经网络可能有大约1010个可能的神经网络组合。问题接踵而来。为了处理如此巨大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家积累大量的经验。ゥ

该图显示了googlenet的架构。神经网络的设计需要从最初的卷积结构开始，经过多年的仔细调试

为了使机器学习模型的设计更容易，谷歌团队一直希望自动化这个过程。谷歌之前已经做了很多尝试，包括进化算法和强化学习算法，都显示出了良好的效果。quoc le和barret zoph在本文中展示的是谷歌大脑团队在强化学习中的一些尝试和早期成果。

在团队的一个名为“automl”的项目中(如图所示)，左边有一个名为“控制器”的rnn，它设计了一个“子”模型架构(雷锋)。com认为它可以被称为“原型/子架构”，后者可以通过特定的任务进行训练和评估。然后，将反馈结果返回给控制器，并在下一个周期中改进其训练设置。这个过程被重复数千次——生成一个新的体系结构，进行测试，并向控制器发送反馈以再次学习。最终，控制器将倾向于设计能够在数据集中实现更高精度的架构，反之亦然。

谷歌团队将这种方法应用于两个深度学习数据集，cifar-10专注于图像识别，penn treebank专注于语言建模。在这两个数据集上，系统设计的模型性能与目前机器学习专家设计的领先模型相当(有些模型甚至是谷歌成员自己设计的！).

猜猜哪种神经网络结构是由人设计的，哪种是由机器设计的。

让机器选择自己的架构(机器选择的架构)，这与人类在设计神经网络时有一些共同之处，例如，他们都采用合并的输入，并从以前的隐藏层中吸取教训。然而，也有一些亮点，如包括乘法组合的机器选择的体系结构，如右图最左侧的蓝色标签“elem_mult”(机器设计)。对于循环神经网络来说，组合是罕见的，可能是因为人类研究人员没有发现明显的优势。有趣的是，人类设计者以前曾提出过机器使用的乘法组合，并且认为这种方法可以有效地缓解梯度消失/爆炸问题。这意味着机器选择的结构对新神经结构的发现有很大的好处。

此外，机器可以告诉人类为什么一些神经网络工作得更好。上图右侧的架构有许多通道，梯度可以反向流动，这也解释了lstm rnns的性能优于标准rnn的原因。

“从长远来看，我们将深入分析和测试由机器设计的架构，这可以帮助我们重新定义我们对架构的原始看法。如果我们成功了，它将激发一种新的神经网络的诞生，并允许一些非专家的研究人员根据自己的需要创建神经网络，这样机器学习就可以造福于每个人。ゥ

参考文献:

[1]图像分类器的大规模演变，esteban real，sherry moore，andrew selle，saurabh saxena，yutaka leon suematsu，quoc le，alex kurakin。2017年国际机器学习会议。

[2]具有强化学习的神经结构搜索，barret zoph，quoc v. le .2017年学习代表国际会议。

新浪博客，由雷编辑(公开号:雷)

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户