交换机InfiniBand技术的特征及应用研究发现

随着数据中心的不断深入与高需求，人们对于此领域的拓展研究也在不断更迭最新技术与开发最优性能产品及解决方案。

前段时间易飞扬(Gigalight)发布了200G QSFP DD PSM8光模块，标志着基于NRZ调制的200G低成本数据中心内部平行光互连方案基本完成，也象征着公司在200G解决方案上的领先地位。不同于业界主张的400G方案，易飞扬(Gigalight)坚持200G的数据中心解决方案，可为客户提供一站式的服务和解答。

本文主要根据现阶段超算中心的发展进程，来分析当前交换机之间InfiniBand技术的特征以及应用领域，其中以200G QSFP DD AOC为例，说明了超算中心互连技术的端口封装形式朝着更高工作带宽发展的现状。

超算系统里的InfiniBand技术

根据2017年全球超级计算机500强榜单公布情况，我国无锡“神威--太湖之光”超级计算机以每秒125,435.9TFlop/s的峰值计算能力再次蝉联世界第一名，广州“天河二号”超算系统以每秒54,902.4TFlop/s的峰值计算能力位居世界第二名。

值得注意的是这些超算中心的交换互连技术均采用来自以色列InfiniBand的交换机和网络适配卡。当前在超算中心互连技术阵营中有以色列的InfiniBand, 高性能Ethernet, IBM的BlueGene, Cray和后起之秀Intel的OmniPath, 这五大技术占据市场的重要份额，其中InfiniBand和高性能Ethernet占绝对领导地位。

超算中心的互连技术朝着更高带宽、更低延迟、更低功耗和更密的互联端口在发展，而InfiniBand互连技术在当前成为高性能存储互连方案的首选，正是因为其满足了大带宽和低时延的需求。

InfiniBand是一个统一的互连结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，让数据中心在局部故障时仍能运转。

尤其是在未来HPC数据中心内部流量大幅增长的情况下，作为应用于服务器之间的网络连接技术，InfiniBand将拥有更广阔的发展空间。

◮图为InfiniBand的产品路标

InfiniBand网络技术趋势

InfiniBand的互连接口从过去的铜缆互连逐渐过渡到以VCSEL激光器为主的并行光互连技术，相比之下，光互连技术有着更多的优势：

相比铜缆，光纤衰减低传输距离更远，可达100米。

抗干扰性强、零丢包率，无论在光纤周围盘绕着多么复杂的强电，传输速度始终保持一致。

使用寿命很长、兼容性很高，市场上一般的光纤可以用到10年甚至更久，这一点铜缆网线是无法相比的。

超算中心的互连技术的端口封装形式朝着更高工作带宽在发展，上图是InfiniBand互连端口封装形式和工作速率的表格对比，供大家参考。

InfiniBand系统光模块封装演进

QSFP+

QSFP+封装解决方案专为高密度的互连端口而设计，其系统组件包括电磁干扰(EMI)屏蔽罩，光缆、光学引擎，连接器和叠式笼子等零件。

QSFP+封装形式满足了高密度的端口需求，它集成了4路发射和4路接收通道。QSFP+收发器可以取代4个标准SFP+收发器，更大的端口密度和整个系统的成本节约超过传统SFP+产品。

QSFP28

更高速率的QSFP28(25G四通道小型可插拔)封装和QSFP+封装机械结构保持一只大小，QSFP28是为新一代光通信、数据中心和超算网络市场应用而设计的高密度、高速率的产品解决方案。

该封装提供4路高速率信号通道，每路传输速率可从14Gbps发展至25(28)Gbps, 并将满足100Gbps以太网(4x25Gbps)和100Gbps的4X InfiniBand数据速率(EDR)的需求。

QSFP DD

继40G QSFP+和100G QSFP28封装大规模部署和应用之后, QSFP DD被认为是在下一代的200G/400G网络部署中最有优势的一种封装形式。

QSFP DD封装与QSFP28封装大小基本一致，只是其长度稍长(双排金手指连接器)，电接口支持8x25Gbps NRZ(200G)和8x28GBd PAM4(400G), 因此在同等密度的空间接口上，是原来100G QSFP28光模块工作带宽的2到4倍。同时QSFP DD也具备向下兼容QSFP28接口的设备，起到保护投资的作用。

200G QSFP DD AOC在InfiniBand中的应用

不同于应用于高层网络通信的以太网, InfiniBand主要用于低层的服务器端输入/输出性能的使命，设备之间一般使用有源光缆AOC进行连接。

另外考虑到信号在超高速光纤传输中易失真的问题, InfiniBand在光纤中采用差分的方式发送数据信号，并且在信号接收端添加滤波器过滤掉信号噪声，充分保证了连接网络的信号完整性。

易飞扬200G QSFP DD多模光模块和200G QSFP-DD 100m AOC产品，该产品采用自主研发和封装的COB(Chip on Board)技术，可为下一代超算(数据中心)提供更低成本、低功耗、高密度、高速率的新一代光互连解决方案。

◮200G QSFP-DD AOC

该产品在有限紧凑的空间内集成了两个光引擎，共提供8路25G高速数据通道，优秀的散热设计解决温度积累问题，全温0~70摄氏度总功耗小于3.5W, 光接口采用MPO24接口(16根光纤), 在多模OM4光纤可保证100米的工作距离。

小结

著名InfiniBand网络解决方案公司Mellanox市场部副总裁Gilad Shainer先生表示：“在机器学习、HPC云日益发展的今天，客户们对于网络性能的要求到达了极致，InfiniBand HDR 200Gb/s互连方案的高性能、网络计算能力和网络自修复能力，是未来智能云计算中心的关键技术。”易飞扬(Gigalight)的200G QSFP DD AOC正是为未来云网络、高性能计算数据中心量身制定的互连方案。