当前位置:首页 > 芯闻号 > 充电吧
[导读]NVIDIA 方面宣布与开源社区达成合作,为 Apache Spark 3.0 带来端到端的 GPU 加速。Apache Spark 3.0 是一种用于大数据处理的分析引擎,目前已被全球超过 500,

NVIDIA 方面宣布与开源社区达成合作,为 Apache Spark 3.0 带来端到端的 GPU 加速。Apache Spark 3.0 是一种用于大数据处理的分析引擎,目前已被全球超过 500,000 名数据科学家所使用。

按照计划,随着 Spark 3.0 于春季晚些时候发布,数据科学家和机器学习工程师将首次能够把革命性的 GPU 加速应用于普遍使用 SQL 数据库操作进行的 ETL(提取、转换和加载)数据处理工作负载中。

此外,AI 模型训练将能够在相同的 Spark 集群上进行处理,而不是将工作负载作为单独的流程在单独的基础架构上运行。这样就可以对整个数据科学的处理流程进行高性能数据分析,对从数据湖到模型训练所涉及的数十、乃至数千 TB 的数据进行加速,而且无需对已被应用于本地和云端 Spark 应用程序的现有代码进行修改。

NVIDIA 企业计算部门负责人 Manuvir Das 表示:“数据分析是当今企业和研究人员面临的最大的高性能计算挑战。” “从 ETL 到培训再到推理,整个 Spark 3.0 方案的原生 GPU 加速为用户提供了最终将大数据潜力与 AI 性能相连所需的性能和规模。”

基于与 NVIDI A的战略 AI 合作关系,Adobe 是最早在 Databricks 上运行 Spark 3.0 预览版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速数据分析技术进行产品开发,并为各项推进数字化业务进程的功能提供支持。并且在初步测试中,其已将性能提高了 7 倍,以及节省了 90% 的成本。

性能提升后的 Spark 3.0 让科学家能够训练包含有更大数据集的模型,并增加反复训练模型的频率,从而提高模型的精度。现在,数据科学家每天可以处理数TB的新数据,这对于需要为在线推荐系统提供支持或分析新研究数据的数据科学家们而言至关重要。此外,处理速度的加快,减少了交付结果所需的硬件资源,从而节省了大量成本。

Adobe 机器学习高级总监 William Yan 表示:“相比于在 CPU 上运行 Spark,NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴随着 GPU 性能的飞跃性提升,也将为我们全套 Adobe Experience Cloud 应用中 AI 功能的提升带来新的可能性。”

NVIDIA正在为 Apache Spark 贡献一种新的开源 RAPIDS 加速器,以帮助数据科学家提高其数据流程的端到端性能。该加速器能够将之前需要在 CPU 上运行的功能转到 GPU 上运行,以发挥 GPU 的性能:

在无需更改任何代码的情况下显着提高 Spark SQL 和 DataFrame 的运行性能,从而加速 Spark 中的 ETL 数据流程。

无需独立的机器学习和深度学习集群,即可在相同的基础架构上加速数据准备和模型训练。

加速 Spark 分布式集群中各节点之间的数据传输性能。这些资源库使用 UCF Consortium 的开源 UCX(Unified Communication X)框架,并通过使数据直接在 GPU 内存之间移动来最大程度地减少延迟。

Spark 3.0 预览版下载地址:https://spark.apache.org/downloads.html

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

假设未来AI真的成长为改变世界的庞大产业,韩国有没有能力分一杯羹?能分多少?在哪些领域?这些问题值得我们观察。毕竟对于中国半导体产业来说,在某些特定领域,韩国始终是不容忽视的存在。

关键字: 韩国AI产业 AI存储芯片 英伟达

英伟达日前推出基于CUDA-Q混合量子计算平台的云服务,使用户能够进行量子计算的软件测试。该平台的意义不容忽视,或许不亚于GPU升级。

关键字: 英伟达 量子云平台 AI芯片

近日,在美国加州圣何塞举行的英伟达GTC 2024开发者大会上,英伟达宣布与比亚迪进一步扩大合作,未来的比亚迪汽车将搭载英伟达 DRIVE Thor智能车机芯片。比亚迪还将使用英伟达 AI 基础设施进行自动驾驶模型训练,...

关键字: 比亚迪 英伟达 芯片

在凭借RAN加速器进军移动网络领域之后,英伟达希望依托芯片和AI技术,能够在6G领域发挥更大、更关键的作用。

关键字: 英伟达 6G 云平台 6G RAN

3月21日消息,英伟达创始人兼CEO黄仁勋接受全球媒体采访中分享了对行业的深入见解。他提到,全球数据中心市场规模去年已达到约2500亿美元,且以20%至25%的迅猛速度增长,这无疑为英伟达带来了巨大的市场机遇。

关键字: 黄仁勋 英伟达 特工芯片

3月20日消息,全球最强AI芯片GB200横空出世,使得这届GTC 2024大会热度空前,也让英伟达创始人兼CEO黄仁勋再一次成为全球焦点人物。

关键字: 英伟达 GPU 芯片

3月19日消息,在英伟达年度 GTC 开发者大会上,黄仁勋宣布推出推出了Project GR00T人型机器人项目,其中就包括全球首款人型机器人基础模型。

关键字: 英伟达 GPU 芯片

3月19日消息,在英伟达GTC 2024大会上,英伟达CEO黄仁勋宣布推出新一代GPU Blackwell。

关键字: 英伟达 GPU 芯片

机器人技术的进步对于解决全球面临的各种挑战,如老龄化社会、医疗保健需求增加、生产效率提升等,具有重要意义。我们希望未来的机器人,不仅具备人形,更重要的是具备“人性”,更加的像一个真正的人:能够理解人的自然语言,读懂人的微...

关键字: 英伟达 GTC 新生成式AI 具身智能 NVIDIA 机器人

3月18日消息,据国外媒体报道,在AI这一风口浪尖上,英伟达的股价以惊人的速度上涨,在过去一年中翻了两番有余。

关键字: 超微电脑 英伟达
关闭
关闭