物联网时代如何定义软件新平台

“在一个数字化转型的大背景下，物联网设备功能会越来越丰富，这些功能里绝大部分都需要通过软件来实现的，如今的问题和挑战就在于，如何将若干个软件共享在一个平台上”。这就话是张宇在英特尔一年一度的人工智能与物联网生态合作伙伴峰会上，英特尔中国区物联网事业部首席工程师及首席技术官张宇博士，介绍了英特尔在AI与物联网领域所进行的多应用融合与实践，围绕英特尔的单一平台实现若干应用的集成化，这也是英特尔在应对AIoT时代所做的最大努力。

“对于物联网平台来说，通用处理器的开放平台已经能够成为物联网设备主流架构，再加上虚拟化软件的成熟，我们就可以把若干不同应用来共享一个硬件平台，同时给应用提供独立性，来保证质量。”

张宇表示，摩尔定律的推动下，计算性能的提升是惊人的，比如1994年的超算性能是每秒1300次，如今最新一期榜单超算的计算能力达到了每秒20亿次，提升了百万倍以上。算力提高的同时，算法也在不断扩展，甚至迭代速度早已超过了硬件本身。也正因此，软件定义系统这一概念频频在物联网中出现，张宇指出，软件定义系统的本质上是把硬件系统数字化、标准化，通过软件赋能来实现各种虚拟化、多样性的平台。

统一平台或者软件定义系统的根基还是硬件平台性能足够高，同时也要足够灵活。比如在工业领域，机器视觉、运动控制及人机界面等应用已经可以在统一平台上实施。而在智慧城市领域，电子看板除了广告推送之外，还具备了视频采集、视频分析、城市热点以及更多功能，同时也催生了更多应用与服务。对于交通领域，利用虚拟化的技术，可以实现软件定义驾舱，集成车载信息娱乐系统、一体化仪表盘以及后座娱乐系统在统一平台上。

软件定义系统的关键技术

虚拟化是软件定义平台的最关键要素，其中包括了硬件资源的虚拟化，也包括了平台化的系统软件。

硬件资源的虚拟化所实现是对硬件的抽象，来实现硬件资源的重配、重构，来提高硬件资源利用率。平台化的系统软件则是需要通过软件实现对硬件资源的统一调配，需要提供标准化的中间层，来打破上层应用和底层硬件资源之间的关系，从而提高系统的利用率。

如今包括软件定义网络SDN，网络功能虚拟化NFV，以及软件定义存储SDS等概念均已成为现实，实际上这些新兴应用都是通过虚拟化技术，将若干个应用整合在统一平台之上来提高整个平台使用效率、降低系统总体应用成本。

虚拟化技术离不开虚拟机监视器，这项技术实现了实体硬件资源和虚拟资源之间转换，比如说实体CPU向虚拟CPU的转换，实体存储到虚拟存储转换，实体网络到虚拟网络转换。同时虚拟机监视器还能监视在这之上创建虚拟机运行的状态。现在业界虚拟机监视器两种类型，分别称之为Type1和Type2，其中Type1的特点是能够对硬件资源直接进行操作，不需要底层操作系统的支持，能够达到更快的反映，从而减少响应延迟，十分适合包括工业控制等在内对实时性要求较高的场景。而Type2型虚拟机，需要建立在已有的主机操作系统之上，实现对硬件资源的访问。

除了虚拟机监视器之外，容器也是近年来流行的新技术，容器技术可简单理解为轻量化虚拟机，开发者可以把应用及跟相关依赖打包放在容器中，通过容器发布。不同容器对主机操作系统实现共享，所以并不需要为每个容器建立各自操作系统。

相比而言，虚拟机能够虚拟操作系统，所以隔离性会更好，容器的隔离性较差，但系统资源占用较小，启动也更迅速。

软件定义系统离不开底层硬件的支持，比如CPU虚拟化、I/O虚拟化或者网络虚拟化，必须使用像VTd，VTc、VTx等虚拟化技术。“硬件的虚拟化技术已经成熟，但随着人工智能的发展，需要这些硬件实现对人工智能应用的支持，所以英特尔推出了HDDL (VAD) 加速卡，集成了8块Movidius Myraid X芯片，提供8T的算力，基于PCI-e总线，总功耗仅为20瓦。”张宇介绍道。

而与加速卡配套的是OpenVINO软件，可帮开发者迅速将人工智能网络部署到加速卡中。

英特尔的多融合实践

张宇表示，英特尔目前正在开发多应用融合软件，包含两方面，一是集中在边缘侧，是对英特尔现有工具比如OpenVINO等的扩展，使其更好地支持多应用环境，而另一端是云端方案，提供了软件管理平台参考实践，可在web上配置系统参数，并自动生成安装脚本，开发者可以直接部署到本地的多应用环境中运行，同时我们也提供了包括应用商城等在内的参考实践。

OpenVINO是张宇重点强调的项目，OpenVINO包括两个核心组件，一个是模型优化器，另外一个是推理引擎。模型优化器可帮开发者将人工智能框架上所训练好的网络模型下载到相应的平台上。模型优化器的工作流程如下：通过模型优化器，在保证质量的同时进行模型优化，把优化结果转变成中间表示文件，中间表示文件被推理引擎读取，读取完成，就可以通过硬件插件下载到指定平台上执行。目前的硬件插件包括CPU插件、FPGA插件、GPU插件和Movidus的Visual插件。

OpenVINO还包括资源调度器，可以把人工智能网络分配到不同的VPU芯片上执行，如果两个应用所选用的人工智能网络相同，则可共享VPU资源，只需一次下载，从而减少模型数据的传递数量。

OpenVINO不能实现不同应用之间的硬件隔离，如果需要隔离的话，需要做一定扩展，资源调度器中可以维护内部资源分布，为应用分配所需硬件，同时也可记录不同应用分配的资源数量、类型以及位置。

同时，HDDL支持灵活配置和隔离，比如其中4颗芯片分配给应用一，四颗分配给应用二，实现不同的人工智能网络。此时，如果应用需要更多的模型处理，可以利用负载整合，把VPU资源整合，空出新的模型应用。利用8颗芯片，实现了不同应用间的物理隔离，同时又实现了资源共享。

英特尔提供了图形化UI，以方面用户管理系统，在边缘侧提供了图形化的监控软件，展示应用运行状态，而在云端也提供了图形化的配置工具，只需要一步步按照系统要求即可轻松完成设置。

张宇在现场给出了几个实际开发截图，以证明英特尔软件定义平台方法论的效率。包括脚本安装、虚拟机选型、资源配置、容器设置、系统监控等一系列动作。

“我们现在所做的多任务融合软件工具，目的是帮开发者更方便去构建多应用融合的系统。具体措施包括提供更多管理工具方便客户进行负载整合与监控，优化软件以发挥系统整体性能，同时也能保证系统的隔离度。”张宇总结道。