曙光郭庆：大数据加速企业数字化转型进程

本篇文章4981字，读完约12分钟

2018年7月10日至11日，2018中国大数据应用大会在成都召开，主题为“大数据助力数字中国”。由成都市人民政府指导，中国大数据专家委员会、中国电子信息产业集团公司中国电子学会、四川省经济和信息化委员会主办，世界工程组织联合会、成都市经济和信息化委员会、成都世博局协办，中国电子设备股份有限公司、中国电子学会科技交流中心承办，知名媒体支钉协办。

会上，曙光大数据总工程师郭庆贝接受采访时表示，目前，企业在大数据应用方面面临四大挑战，需要把握四大方向。同时，曙光xdata凭借其集成性、智能性、快捷性和易用性四大特性，帮助企业解决大数据落地问题，曙光的abcde大数据布局得以开启。

以下是采访记录:

主持人:大家好，这里是2018中国大数据应用大会现场。今天我们的嘉宾是曙光大数据总工程师郭庆先生，他接受了我们的视频采访。郭校长欢迎您。

郭庆:大家好。

主持人:郭先生，我们知道大数据战略是企业数字化转型的重要途径。曙光目前对客户大数据应用的观察是什么？

郭庆:事实上，众所周知，随着大数据技术的蓬勃发展，我们已经从it时代进入了dt时代，随着近年来大数据应用的逐步落地，大数据的整个发展阶段也从之前的数据和计算阶段进入了应用落地阶段。

在应用落地的过程中，企业在大数据应用上会有四个方向。第一个方向是数据融合。我们看到，包括政府在内的许多用户将打破原有的数据壁垒，收集各种各样的数据，然后在海量数据中分析相应的数据价值，以提高业务效率。

在第二个方向，我们看到大量传统业务系统使用大数据技术来优化其性能。让我给你举个例子。例如，在最初的天气预报中，我们也许能够用传统技术达到3公里的预报精度。现在我们可以用一些新的大数据计算技术将精确度提高到1千米。

第三个方向，把烦恼变成简单。因为原始数据分散在不同的业务系统中，我们可能需要很多步骤来处理业务流程。人们深切感受到的是，在去政府申请一些证书之前，他们必须去很多部门。现在，在整合政府数据之后，我们最多只能运行一次。政府目前的政策是让数据运行得更多，让人们运行得更少，这是一个非常典型的将烦恼转化为简单的应用。

第四个方向，数据融合和创新带来了一些模型创新。我们也可能深深地感觉到，例如，现在在互联网上，当我们进行电子购物时，在线系统会给用户贴上一些标签，然后迅速推荐一些你感兴趣的东西。一方面，它方便用户购买他们喜欢的东西，另一方面，它也可以增加企业的销售量，带来一种经济效益。

我认为这四个方向可能是我们看到许多企业用户在大数据应用程序中逐步实现的一些特定方向。

主持人:你刚才谈到了很多大数据应用的具体案例。你认为这个过程中的主要瓶颈是什么，曙光如何帮助客户破解它？

郭庆:大数据的话题不仅仅是一个技术话题。业内许多专家也指出，在构建大数据的过程中，需要既懂大数据技术又懂业务系统，能够进行这种整体设计和规划的人才。在与许多客户达成大数据项目的过程中，我们还发现客户可能在四个方面有很大的瓶颈。

首先是数据障碍。我们说大数据的核心和基础是数据，没有数据，一切都是空。现在，一方面，传统信息系统中存在大量孤立的信息孤岛，分散在不同的信息系统中。这些数据的格式、质量和标准并不统一。因此，在这个过程中，我们的用户经常需要一方面收集这些数据，另一方面按照统一的格式标准转换数据质量。

曙光帮助用户在这个过程中做了很多工作。一方面，我们有一些非常成熟的工具，从数据收集到清理和数据标准化，可以快速提高用户在这个过程中的工作效率。另一方面，近年来在许多实际项目中，我们与一线用户和领域专家一起积累了来自各行各业的一些数据标准。随着这些标准的积累，用户可以结合应用快速形成自己的数据标准，并帮助用户基于此标准提高和优化大数据的质量，这是第一个瓶颈。

第二个瓶颈是大数据性能挑战。因为传统技术在处理海量数据时会有一些性能瓶颈，比如pb级甚至eb级。近年来，这种情况在国内外都有了很大的改善，大量的it厂商正在解决这些问题。曙光拥有从存储到高性能计算再到分析和挖掘的完整平台产品线，可以为用户提供这些计算和分析工具。

第三，很难应用大数据。简单的技术人员不懂商业，商业人士不懂技术。此时，许多用户都很苦恼。即使我有数据，但我有需求，但我不知道如何实现它。目前，曙光拥有一个专门从事大数据方案设计的咨询团队。他们是拥有一二十年经验的各行各业的领域专家，既懂技术又懂业务。在实际的项目登陆过程中，这些顾问将与用户一起分析其现有系统的瓶颈和需求痛点，然后给出有针对性和时效性的解决方案，帮助用户登陆应用，这也是咨询团队的支持服务。

第四，人才缺乏。从大数据产业链的角度来看，用户方缺乏大数据业务人员，也缺乏与我们一起开发大数据的人才。曙光也在这个方向做了很好的布局。首先，我们面向企业的首席信息官和技术人员，开放我们内部的曙光大学。针对企业员工的技术培训，企业首席信息官培训班可以提高企业员工在大数据中的水平和认知。

另一方面，我们还与中国的许多大学合作，帮助学校开设一些大数据的一线开发课程。去年以来，我们与教育部联合组织了这样一个百校大数据项目，帮助全国100所高校开设大数据课程，培养一线大数据技术人才。

我认为这四个瓶颈是一些用户遇到的问题，曙光已经在这四个方面做了全面的规划和支持。

主持人:这听起来像是一个非常全面的大数据应用程序布局。我想问一下曙光，它在大数据硬件中有一个叫xdata的产品。你能和我们分享这个智能引擎的亮点吗？

郭庆:好的，众所周知，曙光公司是一家技术驱动型公司。当大数据的布局可以追溯到2004年和2005年的时候，那时它不被称为大数据，它被称为海量数据处理。我们已经解决了中国一些重大项目的数据处理问题。因此，经过十多年的发展，我们与中国科学院的一些研究所进行了合作。黎明时分，我们有了一个大数据平台产品，名为xdate，它是基于解决大数据核心处理的技术问题。当然，许多行业专家也知道大数据正在开源技术中蓬勃发展。与市场上的友好产品和开源技术项目相比，我们的产品有几个核心技术优势。简单地说，这就是所谓的“快速而轻松地融化智慧”。

首先是整合。整合的概念是什么？众所周知，在大数据项目的实际构建中，结构化数据和非结构化数据并存。对于许多科研机构来说，它既需要高性能计算中的数据分析，也需要大数据分析。在产品层面，我们解决了这些不同异构需求的统一处理，支持结构化存储和非结构化存储。我们不仅支持传统高性能计算的数据访问接口，还支持大数据的存储接口，以避免为解决不同问题而重复构建存储系统。

大数据、人工智能、高性能计算，我们经常与数据和计算紧密结合，不同的计算模式都在其中。曙光已经在国家原型系统中实现了高性能计算和大数据，包括容器和人工智能。这种异构模式是统一调度的，因此一组集群可以支持不同的计算模式。因此，我们可以看到曙光使用非常低级的技术来解决用户在不同模式和场景下的处理需求，这也是一个具有核心竞争力的亮点。

第二个叫做智力。近年来，人工智能的概念越来越流行。一方面，我们集成了许多人工智能的算法和模型。另一方面，在近年来大数据应用的建设过程中，我们积累了许多与行业应用紧密结合、贴近用户和扎根的模型算法，因此我们将这些模型算法融入到产品中，称之为应用引擎的这个模块。通过一些与引擎和应用紧密结合的模块，可以快速适应大数据应用的登陆过程。与此同时，人工智能技术发展迅速。在数据和智能融合处理领域，我们也有人工智能平台来解决大规模数据的训练和推理以及推理后的海量数据分析。事实上，我们在这方面已经做了很多聪明的工作。

第三部分叫做快速。大数据最大的难点是当数据量很大时如何提高速度。曙光的性能也是基于我们最初对计算无止境的需求，我们提供了一套完整的技术手段，在性能方面进行整体优化和改进。一方面，从底层硬件开始，因为我们从硬件开始，我们可以针对大数据的不同计算场景和模式，例如，一些是io密集型，一些是存储密集型或计算密集型，我们配备了不同的硬件板和设备。其次，我们对大数据处理的非常低级的方面进行了深度优化，如硬件和操作系统的结合、硬件驱动、操作相关库等。在下一个层次上，许多大数据软件厂商已经和我们做了大量的工作，比如基于大数据平台的分布式架构，现在流行的流计算等等。我们基于自主开发的核心技术做了大量的优化工作。事实上，我们还承担了重大研发项目，如科技部的863计划。通过这个国家项目的尖端技术研究，研究成果深入到产品中，这使得我们在很多用户的实际场景的poc测试中，比原来的系统提高了1000倍，可能会差10到20倍，这是我们在性能上非常强的优势。

另外，从硬件到软件，曙光可以根据一些特定的场景实现软硬件的集成。例如，在处理与国家网络安全相关的网络流量时，我们定制了专门的网板，并基于这些流量数据建立了一个专有的完整的加载、查询和搜索系统，该系统已经在许多国家的一些安全大规模安全系统中得到了很好的应用，这也是我们性能的一个很好的体现。

第四，我们谈论应用程序，因为大数据是一个非常复杂的系统，需要与应用程序相结合。曙光实际上在超级计算中心和大规模集群方面有多年的经验。事实上，在制作大数据的过程中，我们在如何使用和维护这个大规模系统，以及如何与上层制造商进行接口方面也有很好的经验，并在我们使用的产品和流程中呈现出来，以便许多用户可以快速使用我们的产品和技术来构建其应用系统。

这是xdata大数据产品四个方向的特点，也是核心技术的积累和竞争力。

主持人:事实上，正如你刚才所说，大数据是目前非常热门的话题，人工智能也是非常热门的话题。有人说人工智能的发展离不开大数据。曙光如何看待人工智能和大数据之间的关系？

郭庆:现在，大数据和人工智能这两个概念很热门。尤其是最近两年，人工智能的概念已经上升，许多应用已经登陆。应该说，我们可以看到这两者紧密结合在一起。在我看来，他们可以紧密结合，互相支持。我们知道人工智能的典型场景是使用深度学习技术。在早期阶段，需要基于大量数据进行训练，并且需要在训练形成模型之后进行推理。在训练过程中，这是一个数据量大的问题。如何对这些培训数据进行有效的存储、组织和标注，可以为这一培训过程提供合理有序的数据。

其次，在我们进行模型推理之后，我们将生成大量的数据。一个典型的例子是人工智能在视频处理中的应用。通过人工智能技术，我们从许多视频流中提取人脸和车牌。各种各样的项目，各种各样的人的属性被提取出来，这些属性被非常小心地完成。经过推理，它可能是结构化后的数据量，可能大于视频的原始数据量。我如何才能很好地存储这些数据，以及如何结合我的业务模型？例如，现在在公安，经过人脸识别和汽车识别，它与公安的警察服务中的大量数据相关联来分析人的轨迹。这种关联实际上是大数据的应用，所以我们说大数据和人工智能在登陆过程中紧密结合。

黎明是这两个方向的结合。我们去年在青岛发布了曙光数据中国情报计划。经过六个月到一年的发展，我们已经形成了一个完整的体系，简称abcde。

a是一种算法。xdata产品和我们的智能产品都集成并嵌入了许多常用算法。b是大数据，智能处理中有许多大数据技术。c被称为计算计算，因为人工智能本身对计算有很高的要求。我们有一个高性能的计算集群，基于gpu的设备支持这种计算。我们谈论领域或行业应用，无论是大数据还是人工智能，我们最终将登陆行业应用来帮助用户实现价值。事实上，在我们多年的发展过程中，我们已经与许多合作厂商建立了良好的合作关系，如HKUST讯飞、日立、大华等，并与他们一起探索在这些行业中的应用。

最后，e是生态系统。在遍布全国的城市运营计算中心的帮助下，曙光今年还得到国家发改委的专项支持，建立公共服务平台，为大量中小企业提供人工智能计算服务，构建完整的产业生态链，帮助人工智能和大数据产业健康发展。围绕abcde，曙光将加入许多合作伙伴，将人工智能和大数据付诸实践。

主持人:好的，今天我们非常感谢郭先生的精彩分享。让我们看看曙光在人工智能和大数据方面的策略。这是一个非常全面的布局。我们也期待着大数据曙光的最新布局。让我们拭目以待。

郭庆:谢谢大家。

工业控制系统正在开放。你想出如何采取安全预防措施了吗？

来源：搜狐微门户