本篇文章3153字,读完约8分钟
雷锋。据《人工智能技术评论》报道,法国当地时间4月24日,“国际学习代表大会”在土伦正式开幕。Yann lecun在他的开幕词中指出,今年有1100多人报名参加会议,是去年的两倍。
会议的第一天,主题演讲厅挤满了人,来自加州大学伯克利分校和纽约大学的研究团队全天发表了七场演讲;剩下的时间是海报展示和交流环节。据雷(公开号:雷)[《艾科技评论》]介绍,总的来说,这是一个半边天的研究趋势。
从现场演讲气氛中可以看出,iclr为行业研究人员提供了一个非常轻松、自由和紧张的交流平台。为什么,请与雷锋分享今天主旨演讲的精髓。技术评论:
计算机视觉研究讨论的是“视觉纹理”的表征学习,它占的比例最大
神经元群如何提取/表现视觉信息?
它的原理如何匹配和优化我们的视觉环境?
这些表征如何加强或限制感知?
我们能从这些表现中获得什么新的原理,并将其应用于工程成像或视觉系统?
第一位受邀参加会议的演讲嘉宾是ieee研究员eero simoncelli,他是霍华德休斯医学研究所和纽约大学神经病学、数学和心理学系的教授。针对上述问题,埃罗·西蒙切利教授提出了“视觉肌理”表征学习的概念和方法。
Eero simoncelli构建了一个视觉计算模型,其中包括视觉世界属性、视觉任务要求和生物性能约束。他指出,结合生物属性的浅层模型比预期的更强大。此外,合成提供了更强大的纹理表示,可用于验证不变性、验证度量属性等。
jpeg 2000以上图像压缩的端到端优化是一个基本的工程问题,在数据存储和有限容量信道传输中有着重要的应用。图像作为一种信息载体,有着巨大的数据量,因此研究人员从未停止对图像压缩的研究。在iclr 2017大会上,来自纽约大学的johannes balle和其他研究人员提出了一种端到端的优化图像压缩方法,论文的题目是“端到端的优化图像压缩”。
该方法包括三个过程:非线性分析变换、均匀量化器和非线性综合变换。这些变换由卷积线性滤波和非线性激活函数的三个连续阶段构成。通过一组测试图像,该方法的性能通常优于标准的jpeg和jpeg 2000压缩方法。更重要的是,在所有比特率的所有图像中,该方法取得了显著的视觉质量改善,客观质量评价方法ms-ssim也证明了这一点。
恢复编码图像的超分辨率技术这篇题为“缓冲地图对图像超分辨率的影响”的口头报告是推特伦敦实验室和丹麦哥本哈根大学的研究成果。
摘要指出图像超分辨率是一个不确定的逆问题。相同的下采样图像经过图像超分辨率处理后,通常会有一个以上的高分辨率图像与原始图像相似,但很多。目前,对于单幅图像的超分辨率处理方法大多是基于经验风险最小化的原理,这时通常会出现单像素大小的均方误差损失。
然而,当根据经验风险最小化原则处理图像时,像素过于平滑,导致图像模糊,并且整体效果与原始图像大不相同。比使用经验风险最小化原则更好的方法是使用最大后验概率推理。在图像先验的前提下,更容易得到高像素的图像,因此得到的图像往往更接近原始图像。
因此,在超分辨率处理中,直接估计低像素图像的最大后验概率非常重要,就像要保证样本图像的先验性,首先要建立模型一样重要。为了推断摊销的最大后验概率并直接计算最大后验概率估计值,这一步引入的新方法是使用卷积神经网络。
为了保证网络在输入低分辨率图像后能够一致地输出相应的高分辨率图像,研究者创造性地引入了一种新的神经网络架构。在该网络中,超分辨率的有效解决方案是投影仿射空.使用新体系结构的结果表明,摊销最大后验概率推理可以降低到两个分布之间的最小交叉熵,这与训练后生成模型的结果相似。如何优化结果,本文提出了三种方法:
(1)生成对策网络
(2)去噪引导超分辨率,并从去噪过程中推导出去噪的梯度估计,从而训练网络
(3)基线法,用最大似然法训练图像先验
“我们的实验表明,使用真实图像数据,基于生成式对抗网络获得的图像最接近原始图像。最后,以变分自动编码器为例,成功地建立了生成对策网络与摊销变分推理之间的联系
概括——理解深度学习需要重新考虑的一个问题:最好的论文演讲场景是挑战
首先,这个iclr获得最佳论文的题目是“理解深度学习需要重新思考概括”,这是由池源·张(麻省理工学院)、本杰明·雷希特(加州大学伯克利分校)、萨米·本吉奥、莫里茨·哈特(谷歌大脑)和奥里奥尔·温雅斯(谷歌深度学习)共同完成的。
根据论文摘要,一些成功的人工神经网络,尽管规模巨大,但在训练结果和测试性能上只有微小的差异。过去,人们认为这种微小的误差要么是由于模型谱系的特征,要么是由于训练中使用的正则化技术。
经过大量的系统实验,论文团队表明这种传统观点是不准确的。具体来说,实验证明,用随机梯度法训练的最先进的图像分类卷积网络可以很容易地拟合训练数据的随机标记。这种现象基本上不受显式正则化的影响,即使真实图像被完全非结构化的随机噪声所取代。
“我们通过理论结构证实了实验结果。理论结构表明,只要参数的数量超过实际中通常存在的数据点,简单深度两个神经网络就能产生完美的有限样本表达。通过与传统模型的比较,解释了我们的实验结果
当然,在其他研究方向上也有许多技术天才。报告提交后,演讲者在提问环节受到了挑战。发问者说:“那么你的证明其实很简单!”-每个人都在等待演讲者的回应。
“这是个好问题。但说到简单,没有比这更好的方法来解决这些问题了!”
掌声雷动。
在同一天的展览中,还有一个关于概括的口头论文展览,即(关于深度学习的大批量培训:概括差距和急剧最小化)。随机梯度下降(sgd)及其变体是许多用于深度学习任务选择的算法。这些方法在小批量的训练采样数据中操作,例如(32-512),以计算梯度的近似值。然而,在这个训练过程中,大批量将导致网络模型的泛化能力下降。本文通过实验证明其原因是收敛到尖锐的极小值,并提出了一些解决办法。
生成对抗网络的创新训练方法
“训练生成性高级网络的原则方法”,马丁·阿尔乔夫斯基,莱昂·博图。
这篇论文是前一段时间热门的“wgan的前期工作”。2017年2月,一篇新发布的arxiv论文“wasser ten gan”在reddit的机器学习频道(machine learning Channel)上大受欢迎,而这篇论文“wasser ten gan”的理论来源是之前的一篇文章“实现生成高级网络的训练的原则性方法”。
自2014年ian goodfellow提出以来,gan中出现了一些问题,如训练困难、发生器和鉴别器的丢失不能指示训练过程、生成的样本缺乏多样性等。从那以后,许多论文试图解决这个问题,但结果并不令人满意。例如,最著名的改进dcgan依赖于鉴别器和发生器架构的实验性枚举,并最终找到一组更好的网络架构设置,但事实上这是一个临时解决方案,而不是永久解决方案。瓦瑟斯坦甘在以下几个方面取得了成功:
彻底解决了gan训练不稳定的问题,不再需要仔细平衡发生器和鉴别器的训练程度
基本解决了折叠模式问题,保证了生成样本的多样性
在训练过程中,最终会有一个值(如交叉熵和准确度)来指示训练过程。值越小,gan训练越好,发生器产生的图像质量越高。
所有上述好处都反映在这样一个事实上,即最简单的多层完全连接网络无需精心设计的网络架构就可以实现。上述优化的理论来源只是作者在本会议论文中推出的一系列公式定理,即之前的工作《走向生成高级网络的训练的原则性方法》,它从理论上分析了原gan的问题,并给出了改进的要点。
因此,难怪参加会议的实业家说,iclr 2017没有看到任何意想不到的研究,但获得了许多理论和方法,可以改善目前的工程问题,如模型培训。
雷锋原创文章。严禁擅自转载。详情请参考转载说明。
来源:搜狐微门户
标题:工业界:这是最接地气的一届ICLR
地址:http://www.shwmhw.com/shxw/60118.html