京东云与AI独创分布式网络负载均衡是如何做到的

为了缓解铁路运输压力，确保旅客平安畅通出行，每年春运时节，全国各地的铁道部门都会依据客流情况，在原有的列车基础上安排新增临时列车，与此同时，火车站的售票窗口也相继增加，以应对客流高峰。

其实，这就是日常生活中所体现的“负载均衡”原理，根据客流的变化情况，动态调整列车数量和窗口功能，合理均衡客流，优化出行流程。在软件系统中也是一样的道理，为了避免流量分摊不均，造成局部节点负载过大（如CPU吃紧等），所以需要一个总入口来承担类似铁道部门的“调度”角色。

负载均衡就是一个统一网络入口的组件，它接收所有网络请求，然后根据预设的规则，把请求转达给某一台单独服务器去处理，并且能实现微服务的水平拓展，处理能力和参与服务的实例数目都能动态变化，可以保障处理速度。当某个实例发生故障时会被自动摘除，对访问者不会产生影响，从而实现高可用性。

不同的负载均衡技术有不同的实现方式及优势。比如，京东云与AI自主研发的分布式网络负载均衡（简称“DNLB”），通过将用户的无状态业务请求按照一定策略自主分发给多台后端服务器，从而调整资源利用情况，消除由于单台后端服务器故障对系统的影响，解决大并发流量压力，来提高用户服务系统可用性、扩展系统服务能力。

正如京东云与AI产品研发部产品总监刘俊辉所言：“DNLB是一款基于京东云SDN技术的无状态四层负载均衡，提供软件定义的全可用区分布式负载均衡服务。相比于主要面向7层应用的ALB和具会话保持功能的NLB，DNLB不单独占用计算资源，天然具有转发性能无瓶颈、全可用区高可用、低时延、自动弹缩和长期免费的优点，满足客户三高一低（高性能、高可用、高弹性和低时延）服务场景需求。”

SDN浸入式架构，实现网络智能化管理

相比于其他负载均衡产品，京东云与AI的DNLB无负载均衡实体存在，不单独占用计算资源，它的转发性能完全依赖于京东云SDN架构，这就意味着它的转发性能无瓶颈，能实现对数据中心网络的智能化管理，充分利用网络宽带资源。

无专用节点，零成本运营

传统的负载均衡为分担用户访问的压力，会将网站压力分配给每一个节点，从而实现集群的横向扩展。但当遇到扩容时，就需要不断加入新的节点，从而造成用量随着负载线性增加的局面，对于有状态的服务来说，还需要启用会话保持来保证把流量分发到固定的节点上去。京东云与AI 的DNLB是建立在SDN浸入式架构之中，不存在专用节点 ，系统吞吐量可以达到最大，性能也更高，对用户来说也没有任何成本投入。

全可用区高可用，保证用户业务连续性

除了无瓶颈的高转发性能，DNLB还具备全可用区高可用的优势，由于DNLB实例采用的是全可用区分布式部署架构，系统中每个可用区都能处理一部分的负载，如果某个可用区发生故障，那么其它的可用区可以迅速接替它来运行，对用户不会产生任何影响。

保留源IP地址，客户端操作简便

同时，在DNLB中用户源IP地址可直接透传到后端服务器，也就是说后端服务器上看到的网络包的源地址就是用户的真实访问地址，用户不需要做其它任何操作，就可以直接获取源端真实的IP信息。

解耦负载均衡与会话保持功能，帮助用户实现灵活部署

DNLB将负载均衡功能与会话保持功能解耦，使每个模块之间的关联减少，保持独立性，即便一个地方出错，也不会影响全部，从而实现更高性能、更灵活的部署。

后端服务丰富，为用户提供更多选择

由于DNLB沿袭的是ALB的虚拟服务器组设计，所以后端服务可根据流量负载情况自动调整服务器个数，以实现合理利用资源，并支持云主机和容器作为后端服务实例，为用户业务部署提供更多选择。

成熟的应用实践，为用户提供高性能服务

抛开功能层面来讲，DNLB还是一个在应用实践上的“老司机”，已在京东云与AI内部多个产品（例如：RDS、MongoDB、Redis、ES等）的高可用架构中集成，其技术的成熟度可以确保用户享受到最高性能的服务，是对性能、时延和业务横向扩展有高要求，在四层负载均衡上的极佳选择。

从当前的网络应用上来看，专业的负载均衡技术，能给用户带来更大的价值和更高的效率，尤其是对于那些部署了微服务架构、数据中心容器的企业来说，使用DNLB能很好满足无状态业务的大并发流量和高可用性的分发需求。

比如说，像6.18、11.11这类电商大促活动时，Web 访问量在短暂的数小时内可能比平常瞬间增加 10 倍以上，启用DNLB对业务系统进行流量分发，随着应用的弹性扩展，DNLB的转发能力同步扩展，保障系统对外的服务能力，可以满足业务波峰时资源调控的需求。

而如果这时选用的是传统的硬件设备搭建集群，就会遇到硬件成本高昂，运维繁琐等问题。对于业务流量峰值高，需构建低成本架构的场景而言，DNLB可以有效应对峰值流量，降低部署成本，使其摆脱硬件设备的运维工作，专注于产品功能的开发。

现如今，人工智能和实体经济的深度融合，正在推动一个新的经济时代的到来。京东云与AI的DNLB基于现有的网络结构，面向高性能、大并发、低延时、无状态的业务分发场景，提供了软件定义的全可用区分布式负载均衡服务，加强了网络数据处理能力，提高了网络的灵活性和可用性。尤其像银行、电商、医疗、交通、互联网这些数据量大、计算量大、通信量大的企业，都成为分布式负载均衡发挥自身优势最主要的平台。

京东云与AI作为京东集团强大商业能力的技术赋能出口，在商用以来3年多的时间里，推出及更新多达300+款产品与服务，实现100%云上订单，呈飞跃式发展。在2019年，获得公有云和私有云双一级资质。在2019年6.18和11.11期间，实现了从容面对数百亿访问流量、每秒数百万次的高并发请求，完全能够胜任在高负载、高并发、高挑战的网络压力下，保证业务系统平稳运行，保证全天核心服务不降级、零重大事故。2019年IDC报告显示，京东云中国公有云IaaS市场排名第九， YtY（同比）增速高达557%，行业最高，远超74%的平均水平。

“我们坚持实场景驱动，坚持以客户为中心，我们也正在从产品端出发，把人工智能、大数据、云计算、物联网等技术融合在一起，为产业融合、科技创新，提供最坚实、最前沿、最可信赖的计算基础设施和服务。”刘俊辉说。