惨遭 ICLR 拒绝的十大好论文：LeCun榜上有名 Yoshua连中两枪

本篇文章2194字，读完约5分钟

第五届国际激光雷达大会于2017年4月24日至26日在法国土伦举行。到目前为止，会议已经结束了一天。研究员卡洛斯·e·佩雷斯在他的博客上发表了一篇文章，详细介绍了他认为不应该被拒绝的十篇好论文。雷锋。(公开号码:雷锋。com)在不改变其初衷的情况下编辑了这篇文章，未经允许不得转载。

第一部分:联合多任务模型:联合多任务模型:为多个自然语言处理任务建立一个神经网络

作者:桥本，熊，津冈义正，理查德·索彻

论文链接:开放评论/论坛？id=sjzab5cel

原因:这是最新颖的论文之一，展示了如何逐渐发展神经网络。这篇论文之所以重要，是因为它展示了一个网络是如何通过迁移学习和域名适应来发展的。目前，讨论这方面的论文并不多。

第二部分:分层存储网络

作者:萨拉特·钱德尔，宋金安，雨果·拉·罗谢尔，帕斯卡尔·文森特，杰拉尔德·泰索罗，约舒亚·本吉奥。

论文链接:开放评论/论坛？id=bj0ee8cxx

原因:这是另一篇关于自然语言处理的论文。令人惊讶的是，它被拒绝，因为作者都是明星研究员。这是第一篇讨论记忆层次概念的论文。目前，大多数内存增强网络往往没有分层的内存结构。我认为这篇论文不应该这么容易被漏掉。

第三部分:强化学习:通过慢速强化学习进行快速强化学习

作者:闫端，约翰·舒尔曼，陈曦，彼得·巴特利特，伊利亚·苏斯克弗，彼得·阿贝·埃尔。

论文链接:开放评论/论坛？id = hklxce9lx

原因:这是一篇突破性的研究论文，但是批评家们不相信这是一篇突破性的研究。我不认为评论家对此印象深刻。我猜这和rl的命名习惯有关。任何关于元学习的东西都应该热销。然而，这篇论文尽管作者出色，却遭到了严厉的批评，这是意料之外的。

第4部分:解密资源网(解密资源网)

作者:·李，·焦，·韩，察奇·魏斯曼。

论文链接:开放评论/论坛？id=sjar0qfxe

原因:我喜欢这篇论文，因为它给出了一些关于如何使用残差或跳过链接的有见地的经验法则。这是2016年最热门的创新，一些人在解构技术方面做了一些尝试。其中一人抱怨说，本文使用了简化模型。这一指控无疑是荒谬的。你不想用一个简化的模型来描述另一个复杂的系统吗？

第五部分:神经知识语言模型

作者:宋金安，蔡喜友，谭恩美，约舒本乔

论文链接:开放评论/论坛？id = bjwfrvoeg

原因:这是另一篇被拒绝的关于自然语言处理的论文。知识库和深度学习的结合应该被认为是一个伟大的创新。但是这篇论文因为缺乏新颖性而被拒绝。主要的不满是写作风格。真遗憾！

第六部分:知识适应:教学适应

作者:Sebastian Ruder，Parsa Ghaffari，John G. Breslin

论文链接:开放评论/论坛？id=rjrhzzkxl

原因:在我注意到这篇论文之前，这是我第二次看到被拒绝的论文列表。我在这方面有点偏执，总是寻找领域来适应和转移这方面的研究。这篇论文有一个很好的想法，但是被否决了。

第七部分:张量混合模型

作者:奥尔沙里尔，罗南塔马利，纳达V科恩，阿姆农沙苏阿。

论文链接:开放评论/论坛？id=bjlughcee

原因:我是这篇论文的忠实粉丝，我看到了全息模型。不幸的是，批评家们对此高度怀疑，最终失败了。

第八部分:深层神经网络的表现力研究。(关于深层神经网络的表达能力)

作者:迈特拉·拉古，本·普尔，乔恩·克莱因伯格，苏亚·甘古利，贾斯查·索尔-迪克斯坦

论文链接:开放评论/论坛？id=b1ttpykgx

原因:基础理论研究和实验论文是有利于深入学习研究的金手指。如果把它们扔在一边，我担心研究会被毁了。

第九章:深度学习中的黑森特征值:奇点和超越

作者:Levent Sagun，Leon Bottou，Yann Lecun。

论文链接:开放评论/论坛？id=b186cp9gx

原因:这是故意向这些著名作家的脸上扔鸡蛋吗？我猜想基本的实验数据不足以吸引人才，这导致了失败。评论是:有趣的实验数据，但没有理论依据。说这是完全不现实的期望。

第10部分:深层网络损耗面的实证分析

作者:丹尼尔·吉·伍恩金，陶大宇，克里斯汀·布兰森

论文链接:开放评论/论坛？id=rkudv6iex

原因:在我的另一篇文章中，我谈到了关于随机梯度下降作为隐式正则化方法的另一个证据。不幸的是，我在这篇文章中只放了一个超链接。但真正让我吃惊的是，挖掘出令人印象深刻的数据的研究人员除了论文被拒绝这一耻辱之外一无所获。

在文章的最后，作者表达了自己的观点和担忧。他认为关于深度学习本质的实验研究太少了。研究人员通常使用简化模型来执行易于操作的分析。然而，如果我们只期望实验结果有足够的价值来描述一台机器的行为，而不期望一个强有力的理论结果，那么它也不会起作用。没有这样的研究，我们大多数人都是在黑暗中摸索。同时，我担心目前的研究环境不利于深入学习的研究者。由于这一领域发展太快，许多评论家的世界观没有与最新的研究成果联系起来，许多突破性的研究论文被埋没了。

雷锋总结。当你看到这么多优秀的论文被拒绝时，我不知道你是什么感觉。至少是《雷锋》的编辑。com感到非常难过。然而，在无数次拒绝之后，久经沙场的科学研究者们肯定已经发展出了强大的心理素质。为什么很难为下次会议而战？

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户