[导读]〇、本文写作背景大约2年前，在腾讯内网，笔者和很多同事讨论了GPU虚拟化的现状和问题。从那以后，出现了一些新的研究方向，并且，有些业界变化，可能会彻底颠覆掉原来的一些论断。但这里并不是要重新介绍完整的GPU虚拟化的方案谱系。而是，我们将聚焦在英伟达GPUCUDA计算领域，介绍下我...
〇、本文写作背景
大约 2 年前，在腾讯内网，笔者和很多同事讨论了 GPU 虚拟化的现状和问题。从那以后，出现了一些新的研究方向，并且，有些业界变化，可能会彻底颠覆掉原来的一些论断。但这里并不是要重新介绍完整的 GPU 虚拟化的方案谱系。而是，我们将聚焦在英伟达 GPU CUDA 计算领域，介绍下我们最新的技术突破 qGPU，以及它的意义究竟是什么。关于 GPU 虚拟化的历史性介绍，我将直接摘抄当时的讨论。这也不是一篇介绍 TKE qGPU 产品特性的文章。而是，我们将潜入到前所未有的深度，去探索 GPU 调度和 QoS 的本质。本文也不是巨细靡遗的系统性探索，但你可以在这里看到别处不曾出现过的知识。本文涉及对一些厂商的推测性技术介绍，不保证准确性。一、术语介绍
GPU ————— Graphics Processing Unit，显卡CUDA ———— Compute Unified Device Architecture，英伟达 2006 年推出的计算 APIVT/VT-x/VT-d — Intel Virtualization Technology。-x 表示 x86 CPU，-d 表示 Device。SVM ————— AMD Secure Virtual Machine。AMD 的等价于 Intel VT-x 的技术。EPT ————— Extended Page Table，Intel 的 CPU 虚拟化中的页表虚拟化硬件支持。NPT ————— Nested Page Table，AMD 的等价于 Intel EPT 的技术。SR-IOV ——— Single Root I/O Virtualization。PCI-SIG 2007 年推出的 PCIe 虚拟化技术。PF ————— Physical Function，亦即物理卡VF ————— Virtual Function，亦即 SR-IOV 的虚拟 PCIe 设备MMIO ——— Memory Mapped I/O。设备上的寄存器或存储，CPU 以内存读写指令来访问。CSR ———— Control
本站声明： 本文章由作者或相关机构授权发布，目的在于传递更多信息，并不代表本站赞同其观点，本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者，如若文章内容侵犯您的权益，请及时联系本站删除。
北京——2024年4月25日 我们的客户选择亚马逊云科技运行他们的关键应用程序和最敏感的数据。每天，世界上发展最快的初创公司、最大的企业和最值得信赖的政府机构都选择亚马逊云科技作为技术基础设施平台。他们之所以选择亚马逊云...
关键字：
GPU
计算
生成式AI
据报道，日本电信巨头软银集团将在未来两年投资1500亿日元(9.6亿美元)升级其计算设施，该计划包括大量采购英伟达GPU。
关键字：
软银
英伟达
GPU
AI
4月24日消息，特斯拉CEO马斯克在最近的财报电话会议上透露，特斯拉的Optimus人形机器人预计将在今年底前具备执行“有用的”工厂任务的能力，并有望在2025年底前推向市场。这一消息引发了业界和公众的广泛关注。
关键字：
马斯克
AI
特斯拉
GPU
近日媒体Business Insider透露称，微软目前正在疯狂囤货GPU，目标在2024年12月前达到180万片。微软本次采购的 GPU 主要来自英伟达公司，不过微软也计划采购 AMD 等其它公司的 GPU 进行扩充。
关键字：
微软
GPU
Apr. 16, 2024 ---- NVIDIA新一代平台Blackwell，包含B系列GPU及整合NVIDIA自家Grace Arm CPU的GB200等。TrendForce集邦咨询指出，GB200的前一代为GH2...
关键字：
CPU
GPU
联发科官方近日宣布，天玑开发者大会(MDDC 2024)将于5月7日在深圳隆重开幕。此次大会以“AI予万物”为核心议题，旨在汇聚全球开发者智慧，共同探讨AI技术在多元领域的应用前景与发展动向。届时，众多行业领袖与资深专家...
关键字：
生成式AI
GPU
天玑
4月9日消息，据媒体报道，马斯克最近表示，首艘无人驾驶的星舰将会在五年内登陆火星，或将在接下来的七年内实现第一批人类登陆火星。
关键字：
马斯克
AI
特斯拉
GPU
3月20日消息，全球最强AI芯片GB200横空出世，使得这届GTC 2024大会热度空前，也让英伟达创始人兼CEO黄仁勋再一次成为全球焦点人物。
关键字：
英伟达
GPU
芯片
The Weather Company 和台湾气象部门成为首批采用全新 Earth-2 云 API 的机构，使用 AI 加速全球气候和天气高分辨率模拟和可视化，突破性地实现 2 公里尺度
关键字：
AI
数字孪生
GPU
3月19日消息，在英伟达年度 GTC 开发者大会上，黄仁勋宣布推出推出了Project GR00T人型机器人项目，其中就包括全球首款人型机器人基础模型。
关键字：
英伟达
GPU
芯片
3月19日消息，在英伟达GTC 2024大会上，英伟达CEO黄仁勋宣布推出新一代GPU Blackwell。
关键字：
英伟达
GPU
芯片
基于先进的 NVIDIA 网络、NVIDIA 全栈 AI 软件和存储技术，可将集群中 Grace Blackwell 超级芯片的数量扩展至数万个，通过 NVIDIA NVLink可将多达 576 块 Blackwell...
关键字：
生成式 AI
超级计算
GPU
NVIDIA cuLitho 可将半导体制造中高度计算密集型的工作负载加快 40-60 倍，并为业界带来全新的生成式 AI 算法
关键字：
生成式 AI
半导体
GPU
全新 NVIDIA NIM 和 GPU 加速的微服务专为生物、化学、影像和医疗数据开发，并在 NVIDIA DGX 云中运行
关键字：
生成式 AI
GPU
数字医疗
Meta日前推出两个功能强大的GPU集群，用于支持下一代生成式AI模型的训练，包括即将推出的Llama 3。
关键字：
Meta
英伟达
H100
GPU
3月14日消息，从年初到现在，英伟达的股价已经飙升了80%，在过去一年内上涨了287%，其股价已经逼近1000美元关口，市值达到了2.2万亿美元逼近苹果公司。
关键字：
英伟达
GPU
芯片
Mar. 13, 2024 ---- 据TrendForce集邦咨询资深研究副总吴雅婷表示，目前2024年HBM(High Bandwidth Memory)市场主流为HBM3，NVIDIA新世代含B100或H200的规...
关键字：
GPU
AI
HBM
在当今科技快速发展的时代，人工智能(Artificial Intelligence，简称AI)已经成为人们热议的话题之一。
关键字：
通用人工智能
DSA
GPU
近日，芯片厂商 Groq 近期指控英伟达存在不正当竞争行为，称其延缓向同时使用其他厂商数据中心AI处理器的客户发货。与此同时，前AMD图形业务部门副总裁 Scott·Herkelman 也称英伟达在多个领域都存在类似行为...
关键字：
AMD
英伟达
GPU
下载文档
