原创
这些AI芯片创企想挑战英伟达，它们能成功吗？
时间：2024-05-27 10:25:53
手机看文章
扫描二维码
随时随地手机看文章
[导读]受到AI浪潮的刺激，英伟达市值冲至2万亿美元。5月22日英伟达公布一季度财报，财报显示期内英伟达营收260.4亿美元，同比增长262%；净利148.8亿美元，同比增长628%。
科幻小说《沙丘》中有这样一句话：“谁控制了GPU，谁就控制了宇宙。”在今天的科技世界，如果哪家企业想在AI领域有所见树，就要购买英伟达GPU。
分析师们喋喋不休，将追逐AI梦想的企业分成两类，也就是“GPU-rich”和“GPU-poor”，前者拥有大量GPU，后者没有多少。为了证明自己的实力，科技企业的老板们纷纷炫耀，说自己囤了多少GPU。
受到AI浪潮的刺激，英伟达市值冲至2万亿美元。5月22日英伟达公布一季度财报，财报显示期内英伟达营收260.4亿美元，同比增长262%；净利148.8亿美元，同比增长628%。
那么，能不能抛开GPU设计AI专用芯片？当然可以，这也是许多大小企业正在做的，它们想挑战英伟达。
英伟达主导的GPU也有缺陷
从本质上讲，CPU是一件事一件事接着处理，GPU不一样，它拥有几千个处理引擎（或者叫Core），可以在同一时间处理几千个简单的任务。当GPU运行AI大模型时，相当于同时运行几千个相同任务的副本。搞清楚如何重写在GPU上运行的AI代码是核心问题，正是因为大家对这一问题的研究导致AI突飞猛进。
但GPU也有缺陷，当数据来回移动时GPU的处理速度不够快。现代AI大模型运行时往往需要大量GPU和大量存储芯片，它们相互连接在一起。数据在GPU和存储芯片间移动越快，性能越好。当研究人员训练大型AI模型时，一些GPU内核会闲置，几乎一半的时间都在等待数据。
加州创业公司Cerebras创始人Andrew Feldman解释说，等待数据如同购物节来临时购物者在生鲜店门前排队。他说：“每个人都在排队，停车场堵了，通道堵了，收银台也堵了，GPU与此类似。”
怎么办？Cerebras将90万个内核和海量内存组合在一起，变成一个庞大的整体。如此一来，多块芯片的连接复杂性降低，中间的数据移动速度加快。内核在芯片上连接在一起，运行速度比独立GPU组合快几百倍，因为连接更紧密，能耗比英伟达产品降低一半。
Groq来自加州山景城，它选择的路径有些不同。它也在开发AI芯片，名叫语言处理单元（LPU），可以训练、运行大语言模型（LLM）。芯片内有存储元件，同时芯片又有路由功能，在相互连接的LPU间传输数据。搭配智能路由软件，它可以消除延迟，降低数据等待时间。独特的设计大大提升了效率和速度，Groq称它们的LPU运行LLM时速度比现有系统快10倍。
来自加州的MatX公司反向操作，它认为，GPU内包括各种功能和电路，这些组件适合图形处理，但在LLM领域没有用。MatX将不必要组件剔除，当芯片执行一些任务时性能反而会更好。
还有很多企业也在默默努力，比如以色列Hailo，它于今年4月融资1.2亿美元；多伦多Taalas，美国Tenstorrent，它们用开源RISC V架构开发AI芯片；英国企业Graphcore，它早早就进了场，但失败了，现在考虑卖身给软银。
科技巨头也在开发自己的AI芯片，比如谷歌、亚马逊、Meta和微软，它们也开发了面向云端AI的定制芯片。AMD、英特尔直接与英伟达竞争，已经拥有GPU AI芯片。
挑战英伟达垄断地位不容易
新手们挑战霸主勇气可嘉，但它们可能太激进，走得太远了。
斯坦福大学计算机科学家Christos Kozyrakis表示，设计一款芯片需要2-3年，考虑到AI大模型正在快速进化，2-3年是很漫长的时间。
创业公司如果想成功，最好是抓住机会，提前为未来模型设计芯片，芯片的性能比英伟达的一些GPU更好，那样就能找到突破口。但选择这条路风险也很大，企业为未来模型设计专用芯片，最终可能发现下错的注。
MatX公司联合创始人Reiner Pope认为他们看到了未来，最新的状态空间模型渐渐流行，MatX完全可以适配。Cerebras创始人Andrew Feldman认为，现代AI本质上还是“稀疏线性代数（sparse linear algebra），他们开发的芯片可以快速适应。
挑战英伟达还有一个障碍，那就是软件层。CUDA实际上已经成为行业标准，虽然用起来繁琐，但它的标准地位难以撼动。
Christos Kozyrakis认为，软件为王，在这方面英伟达优势明显，毕竟它已经花了多年时间打磨软件生态系统。AI芯片创业公司如果想成功，必须说服程序员为新芯片优化程序。企业要提供软件工具，还要提供兼容的主流机器学习框架。问题在于，优化软件，让它适配新架构，这项工作既困难又复杂。
AI芯片的客户比较简单，一类是大模型开发者，比如OpenAI、Anthropic、Mistral，还有就是科技巨头，比如亚马逊、微软、Meta、谷歌。它们有兴趣收购优秀的AI芯片创业公司，夺取技术，增强自身竞争力。芯片创业公司可以放弃与英伟达竞争，努力卖身给上述两类企业。
MatX的目标很远大，它想将芯片卖给OpenAI、谷歌之类的企业，当然卖身也可以考虑。MatX称：“对于多种退出方式我们都是欢迎的，但我们还是认为，作为一家独立公司，业务是可以持续的。”Cerebras则说它准备上市。
总体来看，虽然有许多创业公司试图挑战英伟达，但至今还没有哪家能造成威胁，一切还有待时间验证。（小刀）
分析师们喋喋不休，将追逐AI梦想的企业分成两类，也就是“GPU-rich”和“GPU-poor”，前者拥有大量GPU，后者没有多少。为了证明自己的实力，科技企业的老板们纷纷炫耀，说自己囤了多少GPU。
受到AI浪潮的刺激，英伟达市值冲至2万亿美元。5月22日英伟达公布一季度财报，财报显示期内英伟达营收260.4亿美元，同比增长262%；净利148.8亿美元，同比增长628%。
那么，能不能抛开GPU设计AI专用芯片？当然可以，这也是许多大小企业正在做的，它们想挑战英伟达。
英伟达主导的GPU也有缺陷
从本质上讲，CPU是一件事一件事接着处理，GPU不一样，它拥有几千个处理引擎（或者叫Core），可以在同一时间处理几千个简单的任务。当GPU运行AI大模型时，相当于同时运行几千个相同任务的副本。搞清楚如何重写在GPU上运行的AI代码是核心问题，正是因为大家对这一问题的研究导致AI突飞猛进。
但GPU也有缺陷，当数据来回移动时GPU的处理速度不够快。现代AI大模型运行时往往需要大量GPU和大量存储芯片，它们相互连接在一起。数据在GPU和存储芯片间移动越快，性能越好。当研究人员训练大型AI模型时，一些GPU内核会闲置，几乎一半的时间都在等待数据。
加州创业公司Cerebras创始人Andrew Feldman解释说，等待数据如同购物节来临时购物者在生鲜店门前排队。他说：“每个人都在排队，停车场堵了，通道堵了，收银台也堵了，GPU与此类似。”
怎么办？Cerebras将90万个内核和海量内存组合在一起，变成一个庞大的整体。如此一来，多块芯片的连接复杂性降低，中间的数据移动速度加快。内核在芯片上连接在一起，运行速度比独立GPU组合快几百倍，因为连接更紧密，能耗比英伟达产品降低一半。
Groq来自加州山景城，它选择的路径有些不同。它也在开发AI芯片，名叫语言处理单元（LPU），可以训练、运行大语言模型（LLM）。芯片内有存储元件，同时芯片又有路由功能，在相互连接的LPU间传输数据。搭配智能路由软件，它可以消除延迟，降低数据等待时间。独特的设计大大提升了效率和速度，Groq称它们的LPU运行LLM时速度比现有系统快10倍。
来自加州的MatX公司反向操作，它认为，GPU内包括各种功能和电路，这些组件适合图形处理，但在LLM领域没有用。MatX将不必要组件剔除，当芯片执行一些任务时性能反而会更好。
还有很多企业也在默默努力，比如以色列Hailo，它于今年4月融资1.2亿美元；多伦多Taalas，美国Tenstorrent，它们用开源RISC V架构开发AI芯片；英国企业Graphcore，它早早就进了场，但失败了，现在考虑卖身给软银。
科技巨头也在开发自己的AI芯片，比如谷歌、亚马逊、Meta和微软，它们也开发了面向云端AI的定制芯片。AMD、英特尔直接与英伟达竞争，已经拥有GPU AI芯片。
挑战英伟达垄断地位不容易
新手们挑战霸主勇气可嘉，但它们可能太激进，走得太远了。
斯坦福大学计算机科学家Christos Kozyrakis表示，设计一款芯片需要2-3年，考虑到AI大模型正在快速进化，2-3年是很漫长的时间。
创业公司如果想成功，最好是抓住机会，提前为未来模型设计芯片，芯片的性能比英伟达的一些GPU更好，那样就能找到突破口。但选择这条路风险也很大，企业为未来模型设计专用芯片，最终可能发现下错的注。
MatX公司联合创始人Reiner Pope认为他们看到了未来，最新的状态空间模型渐渐流行，MatX完全可以适配。Cerebras创始人Andrew Feldman认为，现代AI本质上还是“稀疏线性代数（sparse linear algebra），他们开发的芯片可以快速适应。
挑战英伟达还有一个障碍，那就是软件层。CUDA实际上已经成为行业标准，虽然用起来繁琐，但它的标准地位难以撼动。
Christos Kozyrakis认为，软件为王，在这方面英伟达优势明显，毕竟它已经花了多年时间打磨软件生态系统。AI芯片创业公司如果想成功，必须说服程序员为新芯片优化程序。企业要提供软件工具，还要提供兼容的主流机器学习框架。问题在于，优化软件，让它适配新架构，这项工作既困难又复杂。
AI芯片的客户比较简单，一类是大模型开发者，比如OpenAI、Anthropic、Mistral，还有就是科技巨头，比如亚马逊、微软、Meta、谷歌。它们有兴趣收购优秀的AI芯片创业公司，夺取技术，增强自身竞争力。芯片创业公司可以放弃与英伟达竞争，努力卖身给上述两类企业。
MatX的目标很远大，它想将芯片卖给OpenAI、谷歌之类的企业，当然卖身也可以考虑。MatX称：“对于多种退出方式我们都是欢迎的，但我们还是认为，作为一家独立公司，业务是可以持续的。”Cerebras则说它准备上市。
总体来看，虽然有许多创业公司试图挑战英伟达，但至今还没有哪家能造成威胁，一切还有待时间验证。（小刀）
下载文档
