Twitter 又一力作：对Few

本篇文章1388字，读完约3分钟

《雷技术评论:iclr 2017》于4月24-26日在法国土伦举行，《雷技术评论》的编辑们带来了一篇在法国的一线报道。值此深入学习大会召开之际，雷锋。com还将围绕会议议程和论文介绍推出一系列报道和专题报道，敬请期待。

据雷Feng.com(公开号:雷锋网)报道，这是一位研究人员从twitter向iclr 2017提交的一篇论文。目前，该论文已被iclr委员会录用并给予高度评价。想知道研究者在论文中提出了什么新的研究思路吗？或者iclr委员会如何评估这项工作？然后迅速跟着边肖去看一看。

以下内容是根据论文内容编写的《人工智能科技评论》的部分内容。

摘要虽然目前的深层神经网络算法在大规模数据集上取得了很大的成功，但是这种算法在少量学习任务中的性能往往不能令人满意，因为在少量的学习任务中，分类器需要在每个类别中用少量样本训练后快速具有泛化能力。

目前，人们普遍认为，为了使基于梯度下降优化算法的分类器具有更好的性能，需要对大量的训练样本进行多次训练迭代。在这篇论文中，来自twitter的研究人员引入了基于lstm的元学习器模型，该模型可以学习精确的优化算法来为一些学习任务训练另一个神经网络分类器。

图1:该图显示了元学习过程的一个例子。这幅画分为两部分。元训练集的上半部分被命名为dmeta-train，包含几个表示每个样本的灰色矩形框，矩形框的内部被虚线分成左右两部分。虚线的左侧包含训练集dtrain，而虚线的右侧包含测试集dtest。此示例显示了一个五类的类任务，其中每个样本的训练集包含五类样本(每个类分别标记为1-5)，然后测试集包含两个用于评估模型的样本。图片下方的元列车组名为dmeta-test，其定义方式与dmeta-train相同，但dmeta-test包含dmeta-train未涵盖的类别。此外，尽管上图中没有显示，数据集也被划分为元验证集，以确定模型中的超参数。

基于lstm的元学习模型的参数化使得它可以针对需要一定更新量的特定场景学习合适的参数更新方法，也可以学习分类器网络参数的一般初始化方法，从而加快分类器的训练和拟合过程。

在论文中，研究者们还证明了这种元学习模式与用于少量学习的深度测量学习技术相比具有很强的竞争力。

本文作者提出了一个元学习模型来解决少量学习的问题。文中提到的算法非常有趣，实验结果非常令人信服。这是一篇非常及时的文章，将受到社会各界的广泛关注。三位评审都给出了相同的意见-接受，其中两位特别热情。论文作者还回答了对论文持否定态度的其他评论者提出的问题。然而，本文仍需改进以阐明更多细节。总的来说，这篇论文被接受了。

匿名评论者3

本文提出了一个基于lstm的元学习框架，它可以学习优化算法来训练其他学习算法(这里是神经网络算法)。整篇文章写得很好，主要材料的介绍也很清楚。本文的核心是:绘制罗宾斯·门罗更新规则和lstm更新规则之间的平行关系，并使用它来满足少学的两个主要目标是非常有趣的。

匿名评论者2在本文中，通过将随机梯度下降法(sgd)的更新规则解释为具有可训练参数的门控递归模型，提出了一种新的元学习方法。这一思想对迁移学习的研究具有重要意义。论文结构清晰，但对一些细节的描述还有待改进。

viaoptimization作为一种简单学习模型

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户