ICLR 论文评选吃力不讨好？ arxiv

本篇文章2807字，读完约7分钟

据《雷技术评论》报道:2017年国际激光雷达展将于4月24日至26日在法国土伦举行，届时《雷技术评论》的编辑也将赴法国进行一线报道。在这次深入学习会议之前，雷锋。com还将围绕会议议程和论文介绍推出一系列报道和专题报道，敬请期待。

Andrej karpathy认为，在ICLR 2017(一个流行的深度学习会议)中，每篇论文的选择可以分为四种类型:口头报告、海报、进一步讨论(研讨会)、拒绝，以及论文被添加到arxiv-health网站库的次数是交叉比较的，这非常有趣。一篇论文能否入选iclr 2017将由几个相应领域的领导和评审人员在几个月的评审后决定。参与arxiv-health决定的人只是最初的作者，他们每个月总共花2个小时，当然还有一些网站工作人员，他们对大量的提交做出了回应。现在让我们看看在这场自上而下和自下而上的战斗中会发生什么。

有关iclr 2017的论文选编，请参考openreview。共提交了491篇论文，其中15篇(3%)将在会议上进行口头陈述，183篇(37.3%)论文将被制作成海报在会议上展示，48篇(9.8%)论文被建议进一步讨论，245篇(49.9%)论文被拒绝。Iclr 2017将于4月24日至27日在土伦举行，届时将在会议上展示选定的论文。期待看到美丽的土伦城；

法国土伦

让我们回到文章的主题。

另一方面，作者的arxiv-health网站具有图书馆功能。换句话说，任何注册用户都可以在网站上向他们的图书馆添加论文。然后，基于所有收集的论文的二进制tf-idf特征，arxiv-health将为每个用户训练个性化支持向量机，并提供基于内容的论文推荐。例如，网站上的图书馆收集了一些关于加强学习、认知模型和计算机视觉的论文，每当网站上出现关于这些主题的新论文时，它们就会出现在“推荐”标签的顶部。目前，arxiv-health网站的评论池中有3195个用户——他们是在图书馆至少收集一篇论文的用户，这些用户迄今已收集了55671篇论文，平均每人17.4篇。

arxiv-health网站的一个非常重要的特点是，当用户认可一篇论文时，它会产生相应的影响。因为用户收集论文的动机意味着本文对用户来说非常重要，当用户收集论文时，本文会在论文方向上增加推荐取舍，进而影响向用户推荐的论文。

长话短说，安德烈循环浏览了iclr中的所有论文，然后试图在arxiv-health网站上用完整字符匹配收集到的论文标题，找出相同的论文。论文无法匹配的原因可能是一些iclr论文没有被收录在网站中，一些论文在作者重命名后与原标题不匹配，或者标题包含无法匹配的奇怪字符。

例如，当匹配iclr 2017中口头提交的论文时，作者得到以下结果:

在15篇有口头报告的论文中，以下10篇在arxiv-health网站上找到，网站上有图书馆藏书的数量:

从这里可以看出，arxiv-health收录了iclr给出的15篇口头报告中的10篇，标题左侧的数字是将这篇论文添加到网站图书馆的用户数量。例如，64个arxiv-health用户将“带有未保存辅助任务的强化学习”添加到库中。

在海报展览的183篇论文中，以下113篇在arxiv-health网站上找到，网站上有图书馆收藏的数量:

有些报纸受到了很多人的青睐，多达149人！然而，没有人收集一些文件。

建议进一步研究的论文结果如下:

在建议进一步研究的48篇论文中，以下23篇在arxiv-health网站上找到，网站上有图书馆藏书的数量:

作者不打算列出总共200篇被拒绝的论文。arxiv-health用户确实喜欢其中的一些，但是iclr会议中的领导者和评论者一点也不喜欢它们:

在245篇被拒绝的论文中，以下58篇是在arxiv-health网站上找到的，该网站上有图书馆收藏的数量:

对于上面列出的前几篇论文，提交被拒绝的结果可能对他们不公平。

现在另一个问题是——如果ICLR 2017提交的论文仅由arxiv-health用户投票，结果会是什么(论文可以在arxiv上找到)？这是投票结果的摘录:

第一次口头报告的论文:

海报展示用纸:

arxiv健全用户投票的完整列表可以在这里看到。请注意，根据arxiv-health用户的投票结果，一些被拒绝的iclr 2017提交的论文几乎足以进行口头报告，尤其是以下论文:

“预测:端到端的学习和规划”

“rl^2:通过慢速强化学习进行快速强化学习”

“使用线性分类器探针了解中间层”

“分级存储网络”

相反，arxiv-health的用户不太喜欢一些精选的论文。以下是一个完整的混淆矩阵:

这是一个文本形式的混沌矩阵，每一列都附有论文的标题。这个矩阵看起来不错，但是双方在选择口头报告的论文上有很大的不同；双方同意举办海报展览的分歧相对较少；最重要的是，口头报告和被拒绝的论文之间几乎没有什么区别，制作海报展示的论文和被拒绝的论文之间也几乎没有什么区别。此外，祝贺马克斯等。，因为“带有未保存辅助任务的强化学习”是双方都同意应该给出口头报告的唯一优秀论文:)

最后，几天前，作者在媒体上看到了carlos e. perez写的以下文章:“在2017年ICLR会议上被拒绝的十篇值得深入学习的论文”。arxiv健全用户的观点似乎与本文的观点一致。包括lipnet，本文中列出的所有论文(也可以在arxiv-health上找到)都应该是精选的论文，这与arxiv-health用户的观点惊人地一致。

讨论注意:有几个因素会使结果产生偏差。例如，arxiv-health的用户群随着时间的推移而增加，因此这些结果可能会稍微偏向于arxiv-health后期包含的论文，因为网站中包含的新论文更有可能吸引更多用户的注意。此外，报纸被看到在不同的频率。例如，如果一篇论文是由一个名人转发的，更多的人会看到它，更多的人会把它添加到他们的图书馆。最后，另一个更好地解释倾斜存在的原因是，在arxiv-health中，好论文的曝光率会更高，因为arxiv-health中包含的论文不是匿名的，好论文肯定会得到更多关注。这种特殊情况在iclr中也存在，所以双方在这一点上没有区别。

总之，andrej karpathy从这个实验中得出结论，有许多迹象表明可以为iclr选择提交的论文。此外，结果是从互联网的自下而上的选择过程中“免费”获得的，不需要数百人几个月就能得到结果。作者想对那些被拖延了几周或几个月，承受了很长时间的巨大压力，并且饱受反驳之苦的提交者或审阅者说:也许你不需要这样的痛苦。或者至少，改进后的空非常大。

更多信息，请关注雷锋。

通过媒体，由雷锋编辑(公开号:雷锋)，标题为viajulia manzerova@flickr

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

来源：搜狐微门户