NVIDIA EGX超级计算平台借助企业级Kubernetes简化边缘AI部署

新型GPU Operator、Helm chart与NGC-Ready系统帮助各企业迁移至边缘与混合平台。

如今，AI已不再仅仅只停留在研究阶段，而是已经被应用于各企业机构中，帮助它们解决实际问题。而作为企业机构，它们需要清楚地知道应该将AI模型部署于何处，才能帮助其以更快的速度做出决策。

随着AI、物联网以及即将到来的5G基础架构三者之间正在走向互融。对于各企业而言，如今已然时机成熟——将其模型从数据中心推向边缘。在边缘，数十亿传感器正在源源不断地传输数据，实时决策已成为现实。

大规模部署AI工作负载的各企业正在综合运用本地数据中心和云端，将AI模型置于数据收集点。但是，如果企业缺乏相应的IT专业知识，那么在诸如零售商店或室内停车场这类边缘地点部署工作负载，将变得非常困难。

尽管Kubernetes简化了部署、管理与扩展应用过程中许多手动流程，为跨越本地、边缘与云端带来了一致的云原生部署方法。

但是，远程设置Kubernetes集群以管理数百、甚至数千款应用却可能相当麻烦，特别是在每个边缘区域都不容易获得人工专业支持的情况下。而如今，我们能够通过NVIDIA EGX 边缘超级计算平台化解这些难题。

简化AI部署

NVIDIA EGX是一个云原生的软件定义平台，旨在实现并高效运行大规模混合云与边缘运维。

该平台内的EGX堆栈包含NVIDIA驱动程序、Kubernetes插件、NVIDIA容器运行时以及GPU监测工具，均通过NVIDIA GPU Operator提供。Operator负责整理运行信息与工作流，利用Kubernetes自动完成容器化应用的生命周期管理。

GPU Operator是一个由Helm chart所部署的云原生方法，针对GPU支持的Kubernetes系统配置，用于自动部署所有必要的组件，并完成组件标准化。NVIDIA、Red Hat及云原生社区内的其他公司协作创建了GPU Operator。

GPU Operator还能够让IT团队像管理CPU驱动系统那样，管理GPU支持的远程服务器。这使得其可以利用单一镜像轻松完成一组远程系统初启，在无需现场额外技术专长的情况下运行边缘AI应用程序。

EGX堆栈架构由诸如：Canonical、Cisco、微软、Nutanix、Red Hat和Vmware等混合云管理合作伙伴提供支持，以进一步简化部署，并提供从云端到数据中心一直到边缘的一致体验。

NGC-Ready for Edge系统

由全球领先的服务器制造商所提供的NGC-Ready系统已通过NVIDIA面向GPU优化容器的软件中心 NGC 的AI软件功能与性能验证。

在洛杉矶举行的世界移动通信大会（MWC）上，NVIDIA宣布利用面向边缘的NGC-Ready 系统进一步扩展NGC-Ready计划，大力支持边缘部署。这些系统经过了边缘部署要求的更多安全与远程系统管理测试。此类合格系统可完美运行EGX堆栈，为混合部署提供一个轻松入口。

已通过验证的NGC-Ready for Edge系统由众多全球领先的制造商提供，包括：Advantech、Altos Computing、ASRock RACK、Atos、Dell Technologies、富士通、GIGABYTE、HPE、联想、MiTAC、QCT， Supermicro 和TYAN。

扩展NGC注册

为部署与管理AI软件，NGC现推出Helm chart注册服务。Helm chart是强大的云原生工具，用于定制并自动完成在Kubernetes各集群内的各种应用部署。

NGC的Helm chart注册包含AI框架、GPU Operator等NVIDIA软件，以及面向医疗影像的NVIDIA Clara，和用于智慧零售以及工业检查的NVIDIA Metropolis。NGC还托管针对第三方人工智能应用的Helm chart，包括面向车辆分析的DeepVision、用于视频搜索的IronYun，和执行流分析的KineTIca。

借助NGC-Ready支持服务，开发者与运维团队可以为其NGC-Ready for Edge系统获得专用的Helm注册，以推动与分享Helm chart。这能够让各团队充分利用一致、安全且可靠的环境，加速集成与部署的持续循环。

采用NGC部署AI软件

如需跨不同平台轻松配置GPU驱动的Kubernetes集群，利用Helm chart与容器快速部署人工智能应用.