英伟达与开源社区合作，将 GPU 加速带入 Spark 3.0

NVIDIA 方面宣布与开源社区达成合作，为 Apache Spark 3.0 带来端到端的 GPU 加速。Apache Spark 3.0 是一种用于大数据处理的分析引擎，目前已被全球超过 500,000 名数据科学家所使用。

按照计划，随着 Spark 3.0 于春季晚些时候发布，数据科学家和机器学习工程师将首次能够把革命性的 GPU 加速应用于普遍使用 SQL 数据库操作进行的 ETL（提取、转换和加载）数据处理工作负载中。

此外，AI 模型训练将能够在相同的 Spark 集群上进行处理，而不是将工作负载作为单独的流程在单独的基础架构上运行。这样就可以对整个数据科学的处理流程进行高性能数据分析，对从数据湖到模型训练所涉及的数十、乃至数千 TB 的数据进行加速，而且无需对已被应用于本地和云端 Spark 应用程序的现有代码进行修改。

NVIDIA 企业计算部门负责人 Manuvir Das 表示：“数据分析是当今企业和研究人员面临的最大的高性能计算挑战。” “从 ETL 到培训再到推理，整个 Spark 3.0 方案的原生 GPU 加速为用户提供了最终将大数据潜力与 AI 性能相连所需的性能和规模。”

基于与 NVIDI A的战略 AI 合作关系，Adobe 是最早在 Databricks 上运行 Spark 3.0 预览版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速数据分析技术进行产品开发，并为各项推进数字化业务进程的功能提供支持。并且在初步测试中，其已将性能提高了 7 倍，以及节省了 90% 的成本。

性能提升后的 Spark 3.0 让科学家能够训练包含有更大数据集的模型，并增加反复训练模型的频率，从而提高模型的精度。现在，数据科学家每天可以处理数TB的新数据，这对于需要为在线推荐系统提供支持或分析新研究数据的数据科学家们而言至关重要。此外，处理速度的加快，减少了交付结果所需的硬件资源，从而节省了大量成本。

Adobe 机器学习高级总监 William Yan 表示：“相比于在 CPU 上运行 Spark，NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴随着 GPU 性能的飞跃性提升，也将为我们全套 Adobe Experience Cloud 应用中 AI 功能的提升带来新的可能性。”

NVIDIA正在为 Apache Spark 贡献一种新的开源 RAPIDS 加速器，以帮助数据科学家提高其数据流程的端到端性能。该加速器能够将之前需要在 CPU 上运行的功能转到 GPU 上运行，以发挥 GPU 的性能：

在无需更改任何代码的情况下显着提高 Spark SQL 和 DataFrame 的运行性能，从而加速 Spark 中的 ETL 数据流程。

无需独立的机器学习和深度学习集群，即可在相同的基础架构上加速数据准备和模型训练。

加速 Spark 分布式集群中各节点之间的数据传输性能。这些资源库使用 UCF Consortium 的开源 UCX（Unified Communication X）框架，并通过使数据直接在 GPU 内存之间移动来最大程度地减少延迟。

Spark 3.0 预览版下载地址：https://spark.apache.org/downloads.html