面向数据科学 NVIDIA借助RAPIDS拓展GPU新的应用场景

本篇文章1656字，读完约4分钟

10月29日，网络服务器频道(Text/Li)消息:毫无疑问，我们正处于一个数据爆炸的时代，企业在数据驱动战略方面也在进行更多的业务创新。因此，以分析、深度学习和机器学习为代表的数据科学市场迎来了一个快速发展和机遇的时期。为了抓住这一商机，英伟达推出了rapids开源gpu加速平台，用于大规模数据分析和机器学习。

Gpu瞄准新市场。如今，尽管对计算能力的需求越来越大，但gpu凭借其强大的并行计算能力在高性能计算市场上表现出色。目前，包括峰会和塞拉；在美国；日本abci；许多世界顶级超级计算机，包括欧洲的Pizdiant，都采用nvidia gpu作为其计算能力核心。目前，70%的通用hpc程序已经实现了gpu加速。

与此同时，以人工智能为代表的新技术正席卷各行各业，而gpu在深度学习方面有着独特的优势。nvidia在人工智能市场发展迅速，gpu计算加速了深度学习的革命。

英伟达亚太解决方案架构高级总监赵立伟告诉记者，整个市场仍在快速发展。数据科学和机器学习的服务器市场每年价值约200亿美元，科学分析和深度学习的市场价值约360亿美元。

除了数据科学市场，零售、金融、医疗和其他行业现在都在努力从数据中获取更多价值，这就是我们通常所说的大数据分析。事实上，几乎每个企业都在使用数据驱动来增强其核心竞争力，这离不开所谓的大数据决策支持系统。赵立伟说。

面对广阔的市场机遇，nvidia gpu瞄准数据科学和机器学习市场。因此，我们看到了急流的出现。Rapids为gpu加速分析和机器学习提供了一套完整的开源库，并为数据科学家提供了在gpu上运行整个数据科学管道所需的工具。

急流加速了数据价值的实现赵立伟说，大数据分析一般要经过三个步骤，一是数据准备、数据特征提取、数据整合、数据降维等；第二步，训练。这是一个不断循环的过程。我们必须不断优化和调整参数。培训过程将更加准确，可预测的结果将更加准确；第三步，推理，在线操作。

在这三个步骤中，业界产生了很多相应的工具，这些工具可以加速相应过程的实现。然而，这些工具大多依赖于处理器计算，并且没有有效利用加速器。因此，nvidia与开源社区合作实现了gpu加速数据分析。Gpu可以为数据科学家的机器学习项目提供更多加速支持。赵立伟说。

最初的急流基准分析使用xgboost机器学习算法在nvidia dgx-2系统上进行训练，结果表明，与只有cpu的系统相比，其速度可以提高50倍。这可以帮助数据科学家将典型的训练时间从几天减少到几小时，或者从几小时减少到几分钟，这取决于他们的数据集的大小。

赵立伟得出结论，在新兴的数据科学领域，rapids具有显著的特点:无缝集成，数据科学家只需要做很少的代码修改就能带来显著的性能加速；近年来，它可以直接在nvidia gpu产品上运行；通过减少数据处理的等待时间，数据科学家可以专注于模型训练和优化；开源，更好地融入社区，获得更多人的智慧，丰富基本功能，服务更多场景。

据悉，为了促进rapid的广泛应用，英伟达正试图将rapid与apache spark相结合，而数据可视化将是下一个目标。

目前，rapids已经被hpe、ibm、oracle、databricks等采用。在databricks，许多项目正在实施，以更好地将spark与本地加速器集成，包括apache arrow支持和在项目氢气帮助下的gpu调度。

Rapids是建立在流行的开源项目上的，比如apache arrow，它给最流行的python数据科学工具链带来了gpu速度。得益于cuda的全球生态系统以及与开源社区的密切合作，rapids gpu加速平台已经与世界上最受欢迎的数据科学库和工作流无缝集成，这可以加速机器学习。像深度学习一样，gpu也在不断加速端到端的数据科学和机器学习过程。

完整的rapids开源库现在可以在官方网站上找到，代码是用apache许可发布的。容器化的急流版本也可以在英伟达图形处理器云容器注册中心获得。

来源：搜狐微门户