京东刘海峰：京东技术架构的边界还在延伸

本篇文章1881字，读完约5分钟

2018年8月1日，支钉首席信息官和应用渠道。2018年7月10日至12日在成都举行。会议的主题是“大数据赋予数字中国力量”。会上，京东基础设施部副总裁刘海峰贝接受采访时表示，京东的基础设施一直在不断完善，主要分为计算、存储、中间件和共享。京东也有自己的R&D系统，所有未来的创新都将基于业务需求。

以下是采访记录:

主持人:你负责京东的整个技术架构。你能介绍一下京东技术架构的研发系统吗？

刘海峰:我在2013年加入JD.com，一直致力于技术架构。顾名思义，技术架构是整个JD.com甚至整个JD.com集团共享的一些技术服务，主要包括:第一是存储，第二是计算，第三是中间件，第四是电子商务共享的一些整体项目实施工作。

一方面，存储主要分为非结构化数据存储，主要是基于商品图片的一些对象存储服务；结构化存储主要是数据库的工作，当然还有缓存和一些检索类的存储服务，它们构成了我们整个存储的技术体系。

第二，计算资源管理，我们需要对多个区域和数据中心的所有计算资源进行统一管理和调度，以满足在线服务甚至离线计算的统一管理和调度要求。一方面，它可以提高计算效率，另一方面，它还可以通过智能调度降低整体硬件采购成本。

第三，电子商务中间件，即我们可以抽象出一些常见的电子商务应用架构和基本服务，形成一个支持所有业务的共享服务，进而提高应用开发者的效率。例如，中间件服务的两个核心部分是我们的微服务框架，它抽象了服务器端微服务开发的整个框架，这样每个人都可以更快地开发服务器端应用程序。另一方面，消息系统或数据总线通过可靠的消息传输实现服务之间的异步和耦合。

另外，可能会有很多共享项目，或者一些中长期项目，比如住在不同的地方。此外，我们每年都大力推进整个项目的协调，这也是一些常见的技术工作，比如如何做故障演练，如何做整个环节的在线交通压力测量，以及一些整体资源的规划等。

主持人:京东有更多自主开发或开源的技术吗？

刘海峰:也许这不能一概而论，但它更具综合性。让我给你举个例子。例如，在计算管理、灵活计算或数据中心操作系统中，我们主要基于开源技术，它最初是openstack，现在更多地基于kubernetes，这是一个非常好的开源项目。今年年初，我们加入了支持库本内特的cncf基金会，成为白金会员。在分布式存储和中间件系统中，我们主要关注独立的研究和开发。这个原因更多的是因为我们有许多独特的业务需求，我们将把它们转化为我们的核心技术能力。

主持人:行业中有很多种类的开源技术。传统的企业沟通甚至难以评估和选择开源技术。京东如何考虑这些技术的路径选择？

刘海峰:在做项目和解决具体问题时，我们会根据当前团队和当前公司的技术积累进行全面调查，也会对外部的开源或者其他公司的工作进行全面调查。将短期目标和中期目标作为一个整体来看，避免重复车轮建设。就计算资源管理而言，openstack以前在私有云中相对成熟，如果我们自己开发，可能会有很多重复的构建，所以我们在2014年和2015年会更多地使用openstack。因此，开源通常是很多工具。你如何组合它？仍然有许多创新的空客房。然而，在2016年1月，当openstack最成熟的时候，kubernetes是一个新的容器集群管理平台，我们的团队通过讨论发现了一个新的机会。kubernetes作为一种新的技术平台，肯定会有更好的发展，更适合大型企业和更灵活的内部计算资源调度需求。因此，我们确实从openstack切换到了kubernetes。在这个过程中，我们也做了很多创新。例如，我们将在线应用程序、中间件、缓存和数据库以及后端离线计算统一到一个大型平台中，进行调峰和智能调度。综上所述，申请的意思是自己造一把锤子，自己买一把锤子，这不是关键问题，而是如何解决实际的业务需求。

主持人:无论是在营销还是运营过程中，从基础设施的角度来看，数据的哪些部分发挥了作用？

刘海峰:京东是一家零售企业和电子商务公司，从物流的角度看也是一家物流公司。然而，从纯技术角度来看，JD.com绝对是一家大数据公司。JD.com的b2c模式有大量高质量的数据，但所有数据的核心和基础都是商品，所以你可以认为商品数据是京东整个业务和产品的基石。所以在海量商品的整个管理过程中，我们面临着许多独特的技术挑战，比如如何存储商品数据？如何计算？如何挖掘和学习？

京东的商品数据还是我们整体的大数据，我们主要做两件事，第一是不断改善用户体验；另一个，回顾过去，是为了提高我们的运营效率，或者更好地授权给商家和我们自己的内部销售。然后，如果我们对消费者聪明，我们更有可能做成千上万的人，改善个性化的用户体验。这部分工作不仅是搜索推荐和广告，还包括前端和产品图片。我们必须围绕消费者体验做大量工作。如何提高我们的运营效率，就是要深入挖掘所有的商品订单和所有的数据，来指导我们整个供应链和一些内部销售行为，当然还有授权给商家。

主持人:为了支持这么多的业务领域，R&D系统是整个公司最有价值的部分，但它往往是资源相对稀缺的部分。您如何平衡安排这些不同业务的需求之间的关系？

刘海峰:所有公司都将面临这样的挑战。对于京东来说，我们可能有10000多个R&D团队，他们被分成许多部门，我也负责基础设施部门。以我的部门为例。事实上，我们的许多客户都是不同业务领域的应用程序开发人员。在此过程中，我们需要评估对计算和存储资源的许多需求。我们还使用了两种方法。首先是通过技术手段提高我们的技术能力，这样整个体系结构的发展就可以使计算和存储服务不再成为问题。第二，我们将通过管理和合作建立这种默契和信任，然后共同努力把事情做好。

让我给你举个例子。例如，我们的年度促销面临资源规划和增加计算资源的问题。事实上，随着这些年的发展，我们已经对计算资源进行了智能调度。我们已经超卖和一些抢先资源调度，这可以使计算资源的分配不再是一个问题。只要在合理的范围内，每个人都可以增加它需要的任何计算资源。这个资源实际上是通过调度和更好的智能。也就是说，我们通过智能调度进一步平台化，努力提高整体效率，降低成本。

主持人:对京东的技术研发系统来说，这还是一个挑战吗？

刘海峰:坦率地说，在过去的几年里，挑战相当大，因为公司发展非常快，我们的许多技术需要改进。然而，在过去的两三年里，巨大的提升对我们来说更加重要。相对来说，用科技来准备战争更容易，它已经成为我们的一个聚会和文化遗产。

例如，在过去的几年里，我们已经发展了许多伟大的工程方法。例如，我们每年将进行三次全链接压力测试，并使用类似于人工智能的方法来模拟人类行为，该方法部署在全国各地的许多代理节点上。然后我们将模拟并同时发送1000万用户访问京东下单，从而对所有在线系统进行全链接的真实流量压力测试。这是通过伟大的工程改造实现的，我们也在通过许多类似的技术不断进步。

主持人:作为技术架构系统的负责人，你如何管理你的日常工作？

刘海峰:我们有一个大约300人的团队，分为多个方向，如存储、数据库、图片服务、应用操作和维护、中间件等。主要工作线索分为两条:第一条是纯粹的技术研发，例如，我们有一个专门的团队来做数据库。此外，根据业务需要，还有另外一条线可以与其他团队广泛合作。事实上，一家大型互联网公司在进行技术架构时，只有将纯粹的技术系统经验与该公司的业务发展及其整个产品研发需求紧密结合起来，才能发挥其最大价值，而这主要是根据这一理念来决定的。因此，一方面，它是脚踏实地的，另一方面，它是能够雄心勃勃，了解业务需求，向前看，并保持一定的前瞻性。我的基本经验可能是这样的。

主持人:作为一名优秀的建筑师，你需要什么样的素质和条件？

刘海峰:三个方面，第一个是要有扎实的技术基本功，其中很多必须在第一线完成，并且有很强的编码、算法和工程能力。第二个方面是要对公司业务的各个方面有很好的理解和把握。第三个方面，需要具备一些软素养，即大局意识、沟通能力、表达能力，能够与团队合作。

主持人:京东对整个技术的概念是什么？新技术采取什么样的态度？

刘海峰:对于一个规模稍大的企业来说，这是多样性和统一性之间的平衡。另一方面，你们整个公司的技术竞争应该有一定的规律性，当然，应该鼓励创新。但是，在一些特定的产品中，可以有一定的多样性和试用性，对于一些新技术，我认为我们需要从辩证的角度来看待它们。最后，这取决于如何进行权衡，这最有助于公司整体技术实力的发展。此外，在许多情况下，有必要成为一个推动者，而不是纯粹的追随者。

主持人:京东基础设施创新的未来方向是什么？

刘海峰:京东一直是一家务实的公司，我们的一些基本创新紧跟业务需求，所以我们必须创造商业价值。有两个主要的基本创新。第一是巩固电子商务的基础。一方面，我们应该进一步增强消费者的体验，例如，如果有成千上万的人，用户体验将升级和迭代。另一方面，我们正在对商城中间站的可扩展性进行大规模的改造，希望能够支持京东背后更大的扩张以及其全球和海外的布局。

同时，我们也在利用机器人和人工智能技术来提高运营效率，这更多的体现在物流部分，希望能够自动化仓库、配送等物流环节。例如，仓库里的一些机器人。在这个过程中，有很多技术上的挑战，我也希望业界的同事，无论是业界还是学术界，能够更加关注和支持我们。

来源：搜狐微门户