京东云与AI 10 篇论文被AAAI 2020 收录，京东科技实力亮相世界舞台

本篇文章5545字，读完约14分钟

美国时间2月7日至12日，aaai 2020大会在纽约正式开幕。aaai作为世界人工智能领域的顶级学术会议，每年都会回顾和收集来自世界各地的顶级学术论文，这些学术研究引领着技术的趋势和未来。此次会议上，aaai收录了京东云和ai的10篇论文，涉及自然语言处理、计算机视觉、机器学习等领域，充分展示了京东科技驱动公司成长的发展模式和技术实力。技术创新和应用落地也成为这些论文的亮点，吸引了业内最大的关注。

本届共提交有效论文8800余篇，其中7737篇进入评估阶段，最终录取人数1591人，录取率20.6%。共有来自京东云和人工智能的10篇论文入选2020年aaai。研究领域涵盖前沿技术研究领域，如人脸识别、人脸分析、机器阅读理解、文本生成、样本和模型鲁棒性以及智能城市。这些能力目前在市政安全局。在实体零售和智能客户服务等业务场景中大规模登陆。未来，京东云和ai作为值得信赖的智能技术提供商，将继续探索技术和业务的融合，这些落地技术能力也将迎来更广泛的应用

以下是京东云和人工智能选择的10篇论文:

对样本和模型的鲁棒性研究

1.基于frank-wolfe框架的高效反攻击算法

有效对抗攻击的frank-wolfe框架

论文链接:arxiv/pdf/1811.10828.pdf。

根据模型攻击者能够获得的信息量，反样本攻击可以分为两种类型:白盒攻击和黑盒攻击。虽然基于优化的攻击算法，如pgd，在白盒攻击的情况下可以获得较高的攻击成功率，但是它们产生的对抗样本往往具有较高的失真。另外，它们对应的黑盒攻击算法通常查询效率较低，需要多次访问被攻击的黑盒模型才能实现攻击，这极大地限制了它们的实用性。为了解决这个问题，JD.com、弗吉尼亚大学和加州大学洛杉矶分校联合提出了一种基于弗兰克-沃尔夫框架的高效反攻击算法，该算法可以灵活地应用于白盒和黑盒样本攻击。

作者从理论上证明了该攻击算法具有较快的收敛速度，并在imagenet和mnist数据集上验证了该算法的性能。与所有的白盒和黑盒攻击基准算法相比，本文提出的算法在攻击成功率、攻击时间和查询效率方面都具有优势。

2.通过对立样本评估序列对序列模型的稳健性

seq2sick:用对抗性例子评估序列对序列模型的稳健性

论文链接:arxiv/pdf/1803.01128.pdf。

利用抗样本攻击的难度来评估深层神经网络的鲁棒性已成为常用的方法之一。然而，现有的抗攻击算法大多集中在基于卷积神经网络的图像分类上，因为其输入空连续，输出空有限，便于实现抗样本攻击。本文中，来自京东、加州大学洛杉矶分校和ibm研究院的研究人员探索了一个更为困难的问题，即如何基于循环神经网络攻击序列对序列模型。该模型的输入是一个离散的文本串，而输出的可能值几乎是无限的，因此很难设计出一个抗攻击的方案，并且在本文之前还没有被成功破解。为了解决离散输入空带来的挑战，研究人员提出了一种结合群套索和梯度正则化的投影梯度法。针对几乎无限输出空所带来的问题，他们还设计了一些全新的损失函数来实现两种新的攻击方法:(1)非重叠攻击，即保证模型被攻击后的输出语句不与正常情况下的输出语句重叠；(2)目标关键字攻击，即给出任意一组关键字，以确保模型被攻击后的输出语句包含这些。

最后，研究人员将该算法应用到机器翻译和文本摘要这两个序列到序列模型中常用的任务中，发现序列到序列模型的输出可以通过对输入文本进行微小的改变而发生显著的变化，从而成功抵抗样本攻击。同时，研究人员还指出，虽然攻击是成功的，但与基于卷积神经网络的分类模型相比，序列对序列模型更难抵抗攻击，并且更容易找到抗攻击样本。因此，从反攻击的角度来看，序列对序列模型是一个更稳健的模型。

机器阅读理解

3.多跳多文档阅读理解研究

选择、回答和解释:对多份文件的可解释多跳阅读理解

论文链接:arxiv/pdf/1911.00484v2.pdf。

可解释多跳阅读理解是一个具有挑战性的问题，因为它需要从多个信息源进行推理，并提供支持性证据来解释答案预测。“选择、回答和解释:多文档可解释性多跳阅读理解”提出了一种可解释性多跳多文档阅读理解方法。通过设计基于图神经网络的有效文档筛选模块和推理模块，可以同时准确地找到给定问题的答案和支持答案的证据。

图1。多跳多文档阅读理解方法示意图

文本生成

4.基于因素感知的多模式电子商务产品总结

面向中国电子商务产品的面向方面的多模态总结

纸张链接:？box.jd/sharedinfo/2926429040ecc7d3;

在《面向中国电子商务产品的多模态自动文摘》一文中，提出了一种基于商品要素的商品信息多模态自动文摘系统，该系统可以根据商品的文字描述和图片自动生成商品营销短文。商品的外观决定了用户的第一印象，商品的功能属性最终决定了用户的购买行为。本文提出的多模式商品信息自动汇总系统能够有效整合商品的外观和功能信息，自动捕捉商品的特色卖点，并为其生成营销短文。不同的用户关注不同的商品元素，如冰箱的“能耗”和“容量”，手机的“内存”和“屏幕”。该系统以商品元素为切入点，挖掘最具卖点的商品元素，从商品元素的维度控制输出文本的信息冗余性、可读性和对输入信息的忠诚度，最终生成一篇简洁、流畅、通顺的商品营销短文，希望能引起潜在买家的共鸣。

图2。模型框架图

5.基于关键词指导的生成句总结

关键词引导的抽象句子摘要

纸张链接:？box.jd/sharedinfo/b2234bb08e365eec;

在“关键词引导的摘要句子摘要”一文中，提出了一种新的文本摘要方法，即利用输入文本的关键词信息来提高文本摘要模型的质量。本文模拟了人类文摘的生成过程:当人类文摘为某一文本生成时，首先它会阅读该文本，识别其中的关键词，然后通过创建和处理用流利的语言表达这些关键词。此外，文本摘要和文本关键词提取本质上是相同的，即它们都从输入文本中提取关键信息，但输出形式不同。基于上述思想，本文提出了一种多任务学习框架，通过共享编码器增强了文本摘要和关键词提取的任务。解码器在生成摘要时，利用关键词的信息与原始输入文本进行交互，并通过双重注意和双重复制机制，在关键词的引导下为输入文本生成摘要。

图3。协同选择编码模型框架

6.多模态信息指导下的多模态总结

多模态参考指导下的多模态文摘

纸质链接:box.jd/sharedinfo/36929195ff05b01f;

本文提出了一种基于多模态信息监控的多模态自动文摘模型，该模型以文本和图片为输入，生成一个图文并茂的文摘。在传统的多模态自动文摘模型的训练过程中，经常将文本参考文摘的最大似然损失作为目标函数，然后利用注意机制选择与文本相对应的图片。这种方法容易导致模态偏差，即模型倾向于优化文本生成的质量，而忽略图像选择的质量。本文提出的模型优化了多模态摘要模型的目标函数，即在文本参考摘要的损失函数中加入了图片参考摘要的损失函数。实验结果表明，引入多模态信息监督训练后，多模态自动文摘模型的图像选择质量有了显著提高，文本生成质量也有所提高，从而可以生成更高质量的图像和文本摘要。

图4。多模态数据指导下的多模态自动文摘框架图

7.面向sql的文本生成研究

带有辅助任务的零触发文本到sql学习

论文链接:arxiv/pdf/1908.11052.pdf。

近年来，神经seq2seq模型在文本到sql任务中取得了巨大的成功。然而，很少有研究关注这些模型如何扩展到实际的不可见数据。本文通过设计有效的辅助任务支持模型和生成任务的正则化项，提高了模型的泛化能力。通过在大型文本到sql数据集wikisql上对模型进行评估，与强大的基线粗到精模型相比，本文建立的模型在整个数据集上的绝对精度比基线提高了3%以上。在wikisql的零触发子集测试中，该模型在基线上获得了5%的绝对精度增益，这清楚地证明了其出色的通用性。

图5。论文设计模型示意图

智慧城市研究

8.车站潜在客流智能预测

潜在客流预测:城市交通发展的新研究

论文链接:arxiv/pdf/1912.03440.pdf。

随着城市人口的增加和城市化的不断发展，地铁等公共交通工具发挥着越来越重要的作用。为了使地铁发挥更大的作用，方便人们出行，有必要准确预测未来各站的潜在客流，从而为地铁站的选址和建设规模提供建议。为了解决这个问题，京东和悉尼科技大学的研究人员联合提出了一种多视角的局部相关学习方法。其核心思想是利用自适应权重来理解目标区域与其局部区域之间的客流相关性，并通过在多视角学习过程中嵌入一些领域知识来全面提高潜在客流的预测精度。

图6:潜在的客流预测问题

图7:模型流程图

大量实验结果表明，与其他一些预测算法相比，本文提出的方法具有明显更好的预测精度，可以为车站规划和城市智能建设提供更有力的保障。此外，本文提出的思路也为解决推荐系统中的冷启动问题提供了一些参考。

面部识别

9.误差分割特性指导下的损失函数

误分类向量引导的人脸识别软最大损失

论文链接:arxiv/pdf/1912.00833.pdf。

在人脸识别领域，各种场景中的应用对算法能力要求较高。人脸识别的规模已经从1000和10000人增加到100万甚至1000万人。目前，该研究面临的主要挑战之一是如何随着识别规模的增大，在保持低误识别率的同时保持识别通过率。现有的主流人脸识别训练算法主要分为两类:基于边缘的和基于挖掘的，但它们都有各自的缺点。本文研究了一种新的人脸识别训练算法——误分类向量引导的软最大损失人脸识别算法，旨在使模型学习得到具有更好识别能力的人脸特征。本文提出的误分类向量引导的软最大值可以同时优化现有方法的缺陷，帮助识别网络在训练过程中对疑难案例得到更有针对性的重视，从而实现具有更强识别能力的模型训练。本文提出的方法在几个公共人脸识别测试集上被证明是有效的，识别准确率超过了现有的方法。

图8。MV-Softmax特征的几何解释

面部分析

10.数据库和一种边缘感知语义分割方法

一种新的用于人脸分析的数据集和边界注意语义分割

纸张链接:？box.jd/sharedinfo/c1bead9cbdb50da3;

近年来，人脸分析因其潜在的应用价值而受到越来越多的关注。本文“一种新的人脸解析数据集和边界注意语义分割”从人脸解析领域存在的问题出发，在数据和算法两方面做出了贡献。首先，本文提出了一个高效的像素级人脸分析数据标注框架，大大降低了数据标注的难度，使他们能够在短时间内构建大规模的人脸分析数据集(帕拉)。这个数据集包含超过22，000张人脸图片，涵盖了各种姿势、光照和表情变化。同时，本文还提出了一种有效的边界注意语义分割方法，该方法从网络结构和损失函数两个方面入手，充分利用图像边界信息来提高语义分割的准确性。设计了大量的实验来验证该方法的有效性，同时该方法达到了sota在helen上的性能。

图9。9 .低音网络结构示意图

从这些前沿的研究成果中不难看出，京东云和ai致力于在商品推荐和实体零售领域不断应用语音语义、计算机视觉和机器学习等技术，不仅注重先进的技术，也注重可靠的应用。一直以来，京东云和人工智能都致力于实践可靠的人工智能。“可靠的人工智能”不是一个口号，也不仅仅是一种价值观。它有六个维度:公平、稳健、价值一致、可复制性、可解释性和责任。入选论文包括“抗样本和模型稳健性”的研究。一方面，这是对技术的巨大挑战；另一方面，它是人文精神。成为最可靠的智能技术提供商是京东云和人工智能坚持不懈追求的社会责任和价值的体现。

2019年8月，以京东新中心人工智能开放平台为载体，京东被选为全国智能供应链人工智能开放平台。依托该平台的技术积累，京东云和ai在疫情期间迅速推出了应急资源信息发布平台，帮助湖北、武汉等疫区提供了医疗、消毒、生活等各类救援物资2.6亿多件，药品4亿多箱。其中包括1.5亿个口罩、40.6万个护目镜、283.72万套防护服鞋和其他防疫必需品；基于京东云和人工智能领先的语音语义技术开发的智能疫情助手，已迅速登陆北京、山东、安徽、江苏、江西、四川等地的10多个行业和1000多个组织机构，免费提供疫情咨询服务，累计服务咨询数百万次。确保人们在流行病的特殊时期感受到科技带来的温暖和便利。

2019年，京东在云、人工智能、物联网等技术领域和业务上的探索，完成了京东云和人工智能在abcde技术战略上的布局。这一战略是我们的深度技术集成，将人工智能(ai)、大数据(big data)、云计算(Cloud Computing)、设备(iot)和探索(Frontier Exploration)集成在一起，以增强外部世界的能力，为工业集成和技术创新提供最坚实、最前沿和最可靠的基础设施和服务。

京东云与人工智能总裁、京东集团技术委员会主席周博文博士表示，京东技术战略“abcde”的实质是促进技术融合带来的价值叠加，通过尖端技术的研发进一步与行业专有技术相融合，与合作伙伴共同构建良好的技术合作生态，始终关注使用案例，利用京东云与人工智能技术积累外部授权，解决现实场景问题，最终为社会创造更多价值。

如何实现技术与产业的融合一直是人工智能行业和企业关注的焦点。2020年，京东云和人工智能作为“技术出口”的先锋，将出现在更多的世界顶级学术和科学会议上，继续深化技术与实体经济的融合，探索技术的边界和应用价值，推动产学研一体化。京东云和ai还将继续利用坚实的技术积累外部授权，与社会各界共同创造和见证云智能世界和工业互联网蓬勃发展的新时代！

来源：搜狐微门户