人工智能：人工智能公司SambaNova介绍

人工智能的重要性怎么强调都不为过。人工智能正被用于改进从智能手机到农业设备到医疗系统再到半导体生产的一切。AI 也被用于解决非常复杂的问题，这些问题到目前为止根本无法解决。

开发人工智能技术本身就是一个充满活力的领域，但人工智能的全部意义在于实现几乎所有其他电子应用的创新。人工智能的潜在市场与近年来出现的任何技术的前景一样无限，这让投资者异常兴奋。

少数人工智能初创公司吸引的不是数千万美元，而是数亿美元。一小部分仍然吸引了超过 10 亿美元的投资者现金。SambaNova 就是其中之一。该公司现在被认为整体价值超过 50 亿美元，这使其比财富 500 强中的许多公司更有价值。对于一家仅在两年前从隐身模式中脱颖而出的初创公司来说，处于这个位置是一个有趣的位置。风险投资绝不能保证成功，但至少筹集到 10 亿美元可以证明许多投资者认为 SambaNova 正在走向成功。

首先，SambaNova 主要关注数据中心，所以我们关注数据中心的培训和服务模型。当然，整个目标是提供能够训练非常非常大、准确的模型的能力。如果你看看当前的计算能力格局，主要由 GPU 主导，你需要的是很多很多 GPU，因为每个 GPU 可以拥有的内存量有限。

因此，SambaNova 带来的是一个或两个或四分之一机架的能力，能够提供数 TB 的内存。这样一来，您就可以构建庞大的模型，可以为任何感兴趣的特定工业垂直或商业垂直服务。

因此，例如，用于金融部门或用于开发聊天机器人和客户服务、基于语音的商务的巨大自然语言处理模型。此外，自然语言处理也可用于癌症研究。

或者我们称之为真实分辨率的巨大视觉模型，它允许您在不降低分辨率使图像更加模糊的情况下处理医学图像，这样您就可以将其适应传统系统的内存要求。

或者，相反，人们为管理有限内存所做的另一件事是将大约 20k x 20k 的图像切成小块，然后可以处理这些小块中的每一个。但是您独立处理补丁，并且您可能会丢失跨边界的重要功能。因此，通过能够处理 20k x 20k 的图像并创建可以采用图像的整个分辨率的模型，你们都可以获得精细的细节，有可能取消你试图成像的任何东西。您还可以获得跨越大片图像的特征，并使用这些特征来提高您尝试做的任何事情的准确性。

因此，在医学成像、天文学、科学成像、X 射线成像中，所有这些都在生成巨大的图像，而这些图像无法用今天的能力轻松处理。我们能够使用 SambaNova 系统做到这一点。

这么多种类的用例。第三个经典用例是大型推荐系统。您要做的是准确捕捉您要为其推荐的潜在客户的个性。这以所谓的巨大嵌入表的形式出现，它捕捉了这种细节。这些表达到了 TB 级。

同样，您希望能够处理那些大型嵌入表，因为嵌入表越大，模型越准确，您就能提供更好的推荐。

因此，所有这些功能都由 SambaNova 系统提供。我们在系统开发过程中关注的关键特性之一是能够训练这些大型模型(以及这些大型模型，它们将为您提供最先进的准确性)，但也为他们服务。

这有两个好处。一是，你服务于你所训练的，对吧?因此，您不必在不同的服务环境中重新验证模型。所以通常情况下，今天，你在 GPU 上训练，因为 GPU 非常擅长大批量训练，对吧?所以当你谈到训练时，你需要批次中有很多例子，因为这是填充 GPU 能力以使其高效的唯一方法。

但是如果批次太小，GPU 就会变得非常低效。所以人们所做的就是他们说，GPU 不擅长做小批量。因此，我们将转向 CPU，因为在推理方面，您一次会收到一个请求。这些请求不会成批出现，或者如果您等到收到一批请求，那么您当然会延迟最先出现的请求。所以你的延迟会变得更糟。

所以你想要的是既能非常有效地进行大批量训练，又能非常有效地进行单批次推理的能力。所以我们可以用 SambaNova 系统做到这一点。因此，将 SambaNova 系统视为非常有效地进行训练和推理的能力。然后是真正的完整循环：一旦你可以在同一个平台上进行训练和推理，你就可以在它们之间动态切换。

因此，正在开发一类新的模型，使您能够进行所谓的持续训练，在这种情况下，您获得的数据分布会发生变化，并且您想进行调整。举个例子，假设你有一个摄像头正在观察东北某处的十字路口。十字路口的景象在夏季和冬季看起来会大不相同。你希望能够改变你的模型以适应雪、冰或雨，而不是在阳光明媚的日子训练它。

所以事实证明你可以尝试训练 Uber 模型，但如果你有一个自适应的模型，结果会好得多。但这需要什么呢?这意味着您需要能够非常有效地进行训练和推理。所以这一切都指向我们所说的融合。所以你设置了非常低的功率推断。

好吧，你可以想象，如果你有一些移动设备需要进行推理，你真的很关心低功耗，但在很多情况下，你想要做的是，你在服务器中有一些边缘计算能力，哪个更靠近边缘，或者你实际上一直回到某个数据中心。但无论哪种情况，您想要的是同时进行训练和推理的能力。

这就是我们对 SambaNova 的看法，因为这种能力提供了计算能力，而且还有更多。

同时做这两件事的能力是罕见的还是独一无二的?这个问题的来源是，你看看最大的 GPU 供应商，你会看到他们进入 CPU 并做了大量研究来弄清楚如何在处理和内存之间快速有效地来回移动数据。同样的事情还有一些最大的 CPU 公司进入 GPU 领域并进行试验，试图找出处理处理和内存并简化交换的方法。他们正在取得进展。