IBM展示一种8位模拟人工智能芯片

随着在旧金山举行的国际电子设备会议(IEDM)和在蒙特利尔举行的神经信息处理系统会议(NeurlPS)的开门红，对于任何希望跟上人工智能研发发展步伐的人来说，本周都显得十分重要。

正如IBM的研究人员正在详细介绍用于数字和模拟人工智能芯片的新人工智能方法。IBM自豪地宣称，其数字AI芯片“首次成功地使用8位浮点数训练了深度神经网络(DNNs)，同时在深度学习模型和数据集的频谱上完全保持了准确性。”

另外，IBM的研究人员正在IEDM上展示一种模拟人工智能芯片，它使用8位精度的内存与投影相变内存相乘。

“我们确实认为所有这些工作我们正在做,比如试图获得精度下降,性能可以和权力可以继续推进AI——是非常重要的,”杰弗里•六须鲇IBM research - almaden的副总裁兼实验室主任这样说道。

Linley Group总裁兼首席分析师Linley Gwennap称：“机器学习继续快速发展。现有的硬件无法有效处理研究人员建立的最大的神经网络，所以他们正在寻找各种新的方法来提高性能和效率。这些新进展都将给硬件厂商带来巨大压力，芯片公司都"必须灵活且迅速地在这个混乱的市场中生存"。

AI的GPU时代结束了

IBM大胆预测，GPU在人工智能领域的主导地位将终结。GPU能够为图形处理做很多并行矩阵乘法。这样的矩阵乘法恰好是你需要用神经网络做的事情。在Welser看来，“这是一种巧合，但它非常重要。”因为如果没有它(gpu)，我们永远也达不到我们今天在AI表现中已经看到的水平。Welser还补充说，“随着我们对人工智能的了解越来越多，我们正在寻找方法来设计一种更高效的硬件。”

移动到较低的精度

提高效率的一个途径是降低人工智能处理所需的精度。

六须鲇解释说,“我们所有的大方向在几年前开始意识到,虽然我们习惯于非常精确的计算- 32位浮点计算非常标准,甚至64位,双精度对于真正准确的计算——这是不一定总是重要的(AI)。”

在人工智能中，他强调，“你所关心的神经网络是当你展示一幅图像或一个词，如果它得到了正确的答案。”当我们问它是猫还是狗时，它说它是猫。如果这是正确的答案，你就不必关心中间的所有计算。

理想情况下，人工智能应该模仿人眼。威尔斯说:“透过雾蒙蒙的窗户，你会看到一个人在街上走。这是一种低姿态的形象，但通常能说“哦，那是我妈妈来了”就足够了。“所以，只要你得到了正确的答案，这对视力是否合适并不重要。”

他解释说，这解释了人工智能处理中精度下降的趋势。

“对于32位计算，我必须在32位上进行计算。如果我们能在16位上完成，那基本上是计算能力的一半，或者可能是芯片面积的一半，甚至更少。“如果你能降到8位或4位，那就更好了。”他说，“所以，这给了我一个巨大的胜利，在面积、动力、性能和吞吐量方面——我们能多快完成所有这些。”

然而，Welser承认，“很长一段时间以来，我们都认为人工智能训练必须坚持32位精度。没有别的办法了。

2015年，IBM Research发布了AI模型训练推理的降精度方法，论文描述了一种针对传统CMOS技术的新型数据流方法。IBM展示了经过16位精度训练的模型，与经过32位精度训练的模型相比，精度没有损失。

从那时起，IBM注意到“降低精度的方法很快被采纳为行业标准，16位培训和8位推断现在已经很普遍，并刺激了创业公司和风险投资的爆炸式增长，用于降低基于精度的AI芯片。”尽管出现了这种新趋势，但由于需要保持模型的高精度，用数字表示小于16位的“训练”几乎是不可能的。