如何实现虚拟网络流量的可视化

近年来，云计算在运营商、金融、互联网等多个行业得到了广泛应用，大数据、微服务等各种面向云计算的应用和架构也应运而生，SDN也因云而生。“SDN的应用已经步入商用化轨道，DC和DC之间的SDN应用已经规模商用。”在前不久召开的“SDN/NFV/AI大会”上，中国电信科技委主任韦乐平指出。

这些变化对支撑企业IT的网络工程师们产生了强大的冲击，面对看不见的云网络，如何实现虚拟网络流量的可视化成为业界亟待解决的问题。近日，云杉网络研发总监向阳接受通信世界全媒体记者的采访，分享了云杉网络如何通过SDN全景图点亮云网络黑盒的实践经验。

东西向流量是未来主角

根据思科全球云指数给出的报告，到2020年，数据中心内部东西向网络流量占到了77%，再加上数据中心之间的（例如灾备场景下，同城的光纤）流量，数据中心东西向流量占比高达86%之多。根据思科预测，2020年云化数据中心的流量是占全球数据中心总流量的92%。

向阳指出，通常一个数据中心云网络规模的流量是TB级别，在不干扰生产环境的前提下完成流量的全网采集、全景分析和按需分发成为保障云端业务的关键。然而，对数据中心流量的采集，传统的分光/镜像/采样（sFlow、NetFlow等）的方法，其缺点是只能覆盖到物理网络，其对接的后端NPM/安全分析能力也只是GB级别。

采集虚拟网络流量，必须安全、可靠，即需要满足三大要点：一是绘制与当前运行情况相符的虚拟化网络拓扑结构图，并能对虚拟化网络资源、网络拓扑进行实时更新和集中监控；二是保证云计算平台管理流量与云租户业务流量分离；三是能识别、监控虚拟机之间、虚拟机与物理机之间的流量。

向阳讲到，对于一个整体的Fabric网络，其流量是能轻松达到TB级别的，当我们将这些流量全部采集下来之后，如何将流量和消费端对接起来（因为后端的分析能力是无法消化TB级流量的）也是一个严肃的问题。这两个因素叠加起来，跟传统网络一层层漂亮的规划图相比起来，云数据中心的多租户的各种业务跑在一张网里，这里有不同的VPC、IP重叠，我们很难再用一幅清晰的图来表示这个网络，此时的数据中心网络无疑是一团乱麻。当出现业务故障时，团队的权责也因此开始模糊起来。

以前出问题就抓包，现在去哪儿抓都不知道；以前防火墙跟着业务开，现在该开哪个墙都不知道；以前新上线就新机柜，现在该去哪个池都不知道...面对云网络“黑盒”，如何破解？对此，云杉网络提出SDN全景图理念。向阳表示，SDN全景图，为云时代的网工们打开云网络的黑盒，实现快速定位端到端故障，安全策略实时验证，业务上线全局优化...实现虚拟网络流量的多维度可视化，达成点亮云网黑盒的目的。

不同的环境不同的应对方案

向阳指出，常规的解决方法，是把流量和网络配置全部拿下来。但在虚拟化环境中，分光镜像的手段在云里是无法工作，VMware的VDS有镜像能力，但商用的OpenStack环境里OvS通常没有这个能力，而镜像的方案对资源的消耗也是倍增的。

“云杉网络的策略是从先进的数据采集技术入手，在此基础上建立刻画云网络的全景视图和运维、运营、安全管理机制。”向阳表示，对于采集到的数据，通过标记后，可以从不同的维度绘制一个从地域到VPC再到服务器、子网、虚拟机、虚拟机接口、IP等从宏观到微观的云网络全景视图。

我们的目标是网络本地的转发和计算的本地处理。向阳讲到，那么我们应该怎么实现对虚拟网络盲点数据的全量采集呢？将物理网络的关键节点（主要是接入部分）覆盖，例如数据中心出口、防火墙的前后，以及接入交换机等。但是虚拟网络要相对复杂一些，常见的虚拟交换机一般没有流量镜像能力、有镜像能力的资源开销太大、用户也难以接受。对于不同的环境我们有不同的应对方案，对于KVM这类开放方案，可以进行本地的预处理——在宿主机上将流量转换成（各个维度的）遥测数据。

在混合云的场景中，大家比较关注的是资源消耗，其主要的消耗是把包抽取出来和压缩后再发送，云杉网络的优化方案是利用DPDK或者Linux内核实现零拷贝。当然这里也有局限，在追求性能极致的同时还要兼顾对客户系统环境的无扰，我们需要做到仅靠已有的环境来获取自己想要的流量，这在性能优化方面给我们带来了许多的技术挑战。

DeepFlow®点亮云网络的黑盒

云杉网络推出的DeepFlow®虚拟网络流量采集、分发与分析平台为多种云平台提供一体化的虚拟网络流量解决方案，其专利的虚拟流量采集技术具备大规模、零干扰、无依赖、过载保护、预处理等优点；单台控制器同时管理1000个采集点和自动管理并下发4000条过滤策略，适用于生产环境的大规模虚拟网络。

基于运维管理者视角，DeepFlow®分别从云租户、云资源和云网络三个维度进行关联分析，帮助云数据中心提高运维效率；优化资源使用率；提升安全性，从而提升云服务SLA水平。

云杉网络于2019年3月18日发布了DeepFlow® v5.5.1版，该版本优化了网络对象的管理，增强了业务分析能力，改进了告警策略和报表管理；网络全景图功能完善了VPC视角，并加入主机视角，实现了端到端的流量统计与分析，云平台管理模块增加了对虚拟路由器的支持，优化后的采集器日志文件上限为1M/天。

目前，作为面向云数据中心的虚拟网络流量采集分析平台，DeepFlow®率先在金融、电信、电力、教育等行业近百家企业部署，包括平安科技、兴业数金、中国移动、国家电网、苏州国科数据中心等标杆客户，已经成为企业云数据中心网络稳定和高效运营的典范。