AI与HPC在云端融合

本篇文章2556字，读完约6分钟

10月31日，支钉网络服务器频道消息(文字/邹大斌):ai是目前的热门话题，其受欢迎程度已经超过it行业，而hpc是一个老话题，业外人士很少关注。这两者之间有关系吗？答案是肯定的，至少在高性能计算行业的人看来是这样。两者都是计算密集型的应用程序，本质上是相同且相互关联的。事实上，在今年举行的hpc中国2018大会上，如何让hpc更好地支持ai成为嘉宾讨论最多的话题之一。

人工智能是高性能计算的典型工作负载。随着机器学习技术的成熟，人工智能得到了广泛的应用。英特尔院士、英特尔高性能计算战略总监马克·西格在大会的主题演讲中展示了一组数据。人工智能市场将从2017年的25亿美元增长到2022年的80-100亿美元，复合年增长率为30%。快速增长的人工智能市场凸显了对计算能力的需求，但现有的it基础设施甚至整个人工智能应用生态系统都不能很好地满足人工智能市场的需求。

众所周知，hpc也面向高计算密度应用。它强大的计算能力可以用来支持人工智能对计算能力的需求吗？马克西格说，高性能计算可以用于人工智能应用，包括培训和推理。例如，在计算领域，新的至强可扩展处理器的性能越来越强大，网络中的高速通信网卡opa，以及存储领域的创新，所有这些都有利于人工智能应用。

英特尔院士、英特尔高性能计算战略总监马克·西格在高性能计算中国2018大会上发表了演讲

然而，高性能计算专家指出，传统的高性能计算仍然需要在体系结构、计算模型和相关软件方面进行优化，目前高性能计算专家正在研究这一问题。国家并行计算机工程技术中心的陈左宁院士在hpc 2018中国大会上做了主题演讲，他说hpc应该为ai提供更多的支持，HPC和ai可以集成到云中，他们也在做这方面的研究。

英特尔高性能计算解决方案和销售总经理纳什·帕拉尼斯瓦米在接受支钉采访时也表达了同样的观点。如今，主流的人工智能算法本质上是矩阵乘法，它已经在hpc环境中使用了几十年，但是现在我们有专门的硬件来加速矩阵乘法，但是这种方法也是一种非常传统的hpc方法。他说。

作为间接证据，他说，目前，许多制造商的人工智能业务属于hpc部门，如联想和惠普。

然而，一个不可避免的现实是，现在，大多数人工智能应用似乎与高性能计算没有什么联系，许多人工智能已经建立了一个新的硬件平台。这背后的原因是它们在计算上有明显不同的特点，传统的高性能计算目前不能很好地支持人工智能。据陈左宁院士介绍，传统的高性能计算(如数值模拟)和人工智能(如cnn)在算法上仍有许多不同之处，如高精度和低人工智能要求、低内存访问率和高人工智能、高并行性和低人工智能并行性等。这些差异导致传统的高性能计算在应用于典型的人工智能场景时不能充分发挥其强大的计算能力。

这个问题的解决需要从整个生态学出发。陈左宁院士认为，人工智能应用在生态学上面临这些挑战:

随着硬件架构越来越多，很难充分发挥性能，用户需要很好地了解硬件细节和应用算法；人工智能框架的种类越来越多，许多人工智能框架仍在经历巨大的变化；缺乏高效易用的调试和调优工具，调优工作量大；一些应用场景对实时培训有很强的需求(如车载应用场景)；计算节点之间以及计算节点内部的通信效率较低。

通过软件和硬件的结合建立统一的平台，英特尔是hpc和ai生态系统的积极推动者和最重要的制造商之一，英特尔是两者在大力推广中的融合。事实上，英特尔一直非常重视高性能计算，随着英特尔将自己定位为以数据为中心的公司，人工智能自然成为公司的核心战略。

如今，英特尔已经从以电脑为中心的战略转变为以数据为中心的战略。具体到数据中心领域，我们的目标是降低成本并提高整个系统的性能，无论是计算、存储还是网络，也就是说，移动更快、存储更多并处理所有数据类型。纳什·帕拉尼斯瓦米说。

数据显示，在2006年至2017年的10多年间，计算和存储的总成本分别下降了56%和77%，但与此同时，性能却提高了41倍，这显然与英特尔的努力分不开。

Nash palaniswamy透露，英特尔最新一代的至强可扩展处理器cascade lake将很快上市，这将提供更好的性能，并增加一些人工智能深度学习加速器的功能，从而大大提高int8的性能。同样，奥腾数据中心级的持久内存也是一项非常重要的创新，单根可以支持多达512g，可以插入内存插槽。

英特尔在这些领域的改进将惠及高性能计算和人工智能应用。同时，英特尔始终致力于帮助用户构建一致的平台，无论hpc或ai应用程序是否需要切换平台，从而简化it基础架构并降低成本。这是英特尔在新一代至强处理器中集成英特尔深度学习加速器dl boost的原因之一。

当使用dl boost进行int8操作时，性能可提高约11倍。在这个新函数的帮助下，性能最多可以提高1.4倍。事实上，对于一些普通用户来说，在英特尔平台上完成的培训需求并不多。纳什·帕拉尼斯瓦米说。

除了提高it基础设施的性能和降低成本，丰富和改进相关的支持软件也是英特尔工作的重点。近年来，随着人工智能的普及，英特尔不断丰富深度学习/机器学习的数学函数库和数据分析加速库。例如，英特尔发布的面向各种设备和框架的深度神经网络模型的开源编译器ngraph扩展了深度学习模型的适用性和可移植性。

另一方面，英特尔也非常重视营销和人员培训。在高性能计算中国2018年大会期间，国家并行应用挑战(pac)的获奖者被公布。本次竞赛由中国计算机联合会高性能计算专业委员会指导发起，教育部计算机教学指导委员会、英特尔(中国)有限公司、北京并行技术有限公司发起，中国科学院计算机网络信息中心支持。Pac竞赛采用英特尔至强处理器作为推荐平台，英特尔(中国)有限公司提供并行计算和英特尔至强相关培训内容。华为云ei大数据mrs服务被选为竞赛结果的独家评估平台。华为云ei大数据mrs服务具有很强的ai能力开放性，能够快速集成分析动物园框架，为竞赛提供一站式平台，统一运行竞赛工作。

就英特尔的战略而言，我们关注的是以数据为中心的基础设施的更新和创新，不仅是人工智能和高性能计算，还包括bigdl和ngraph等相关技术。我们希望通过我们的持续投资，我们的用户能够拥有更好的产品和更低的总拥有成本。纳什·帕拉尼斯瓦米说。

来源：搜狐微门户