从数据中心到物联网设备，人工智能计算的持续发展（4）

人工智能还处于起步阶段。因此，图本身，算法，都在不断发展。然后，正如我们在本次对话的早期所讨论的那样，应用程序正在发生变化。因此，部分应用程序正在驱动，嗯，我无法在这个应用程序中使用 AI 来实现这一点。所以我们必须研究一种可以实现它的不同类型的网络。所以事情确实在不断发展。

大约七八年前，卷积神经网络——这是你听到的最常见的一种;它是最常用于分析视觉图像的一类神经网络，对吧?例如，视觉系统。就在几年前，实现卷积神经网络的各种方法在分类和识别物体和图像方面击败了人类。一旦发生这种情况，事情就开始了。

然后你确实有像 DNN 这样的东西，它实际上只是很多很多层的深层卷积神经网络。所以它是卷积神经网络的一种形式。然后随着这些用例的发展，您确实拥有专门为解决这些用例而开发的神经网络。

让我给你举个例子。所以RNN，全称Recurrent Neural Networks，是一类特别擅长自然语言处理的神经网络。因为，正如我所提到的，神经网络需要时间，需要时间元素来处理句子。

因此，如果某些内容带有图像，您只需浏览数据集，然后匹配图像。但是，如果有一个序列——如果我说一个词，但你还必须等待三四个词才能解释我在说什么，例如，特别是如果我在句子中移动单词相对于如何其他人可能会说话——那么你需要一个神经网络，它有一个组件，它可以识别时间，然后将事物缝合在一起。这就是 RNN 的优势所在。并且有几类 RNN。

变形金刚是一个新的，一个相对较新的。这是一个深度学习模型，可以捕捉可能相距甚远的关系和单词序列。所以正如我之前所说的，能够处理顺序数据是一回事，即使有时间元素。但是如果这些单词被许多其他单词甚至句子分隔，能够理解它们，那只是自然语言处理的关键，因为我们都以不同的方式说话：不同的口音，我们使用不同的措辞。就像名字所暗示的那样，自然语言的这些元素需要在神经网络中处理。而 Transformers 是最近发展的另一个例子，专门用于处理自然语言处理类型的工作负载。

因此，根据应用程序，您可能会选择不同类别的神经网络来完成您想要完成的任务。

所以当你提高分辨率时，你会得到几何上更大的数据集。这成为一个问题。因为现在，例如，如果您对由数千张 8K 图像而不是数千张 4K 图像组成的数据集进行图像分类，那么现在您的神经网络需要更长的训练时间。顺便说一句，这通常是在云中完成的。然后推理——基本上是通常在设备上完成的决策或实际结果，而不是在训练期间——现在正在这些更大的数据集上完成。因此实现推理需要更长的时间。

所以有各种各样的技术被应用到图表本身，这样他们就不会因为生活在边缘而变得笨拙。他们都是关于真正尝试压缩图的大小，以便它们可以生活在边缘设备的内存限制内。有一些技术称为修剪，这是一种优化技术。它的目的基本上是从模型中删除多余的或可能非常少的重要信息。所以你可以想象，如果你正在拍摄一张 8K 图像，那张图像中会有一大堆不相关的信息，或者重复了很多次。例如，背景中的灰色天空。

这就是视频压缩的本质，对吧?

正确。但是，当涉及到 AI 模型本身时，他们还必须考虑到，为了将训练数据集与他们所看到的内容进行匹配，他们需要知道该图像中重要内容之间的区别。所以这不仅仅是压缩图像大小的问题。但是，当模型查看并尝试将新图像与数据集相关联时，无论图像大小如何压缩，它们都必须确定该图像的哪一部分是重要的。

例如，有一种称为稀疏性的技术。这指的是，如果你考虑一个矩阵，一个神经网络主要是在做很多矩阵运算。矩阵中有很多零值实际上并没有提高准确性。因为它旁边的神经元是完全相同的值。因此，有一些技术可以将稀疏性应用于模型，以便模型可以更小，而不会损失很多准确性。因此，从功率和面积的角度来看，它可以存在于更多受限的设备中。因此，软件部分中发生了一些事情，以确保图形本身对于受限设备是可管理的。