基于硅忆阻突触的深度置信神经网络

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。从思维观点看，人工智能不仅限于逻辑思维，要考虑形象思维、灵感思维才能促进人工智能的突破性的发展，数学常被认为是多种学科的基础科学，数学也进入语言、思维领域，人工智能学科也必须借用数学工具，数学不仅在标准逻辑、模糊数学等范围发挥作用，数学进入人工智能学科，它们将互相促进而更快地发展。

虽然人工智能 (AI) 模型变得越来越先进，但在传统计算机硬件上训练和运行这些模型非常耗能。因此，世界各地的工程师一直在尝试创建替代的、受大脑启发的硬件，以更好地支持人工智能系统的高计算负载。

Technion-Israel Institute of Technology 和 Peng Cheng Laboratory 的研究人员最近创建了一个新的神经形态计算系统，支持深度信念神经网络(DBN)，深度学习模型的生成和图形类。Nature Electronics中概述的该系统基于硅基忆阻器，这是一种既能存储又能处理信息的节能设备。

忆阻器是一种电子元件，可以切换或调节电路中的电流，同时还能记住通过它的电荷。由于它们的功能和结构比传统的记忆和处理单元更类似于人脑中的突触，因此它们可能更适合运行 AI 模型。

“作为一个大型科学界的一部分，我们已经研究神经形态计算已有一段时间了，”进行这项研究的研究人员之一 Shahar Kvatinsky 告诉 TechXplore。“通常，忆阻器用于执行模拟计算。众所周知，神经形态领域存在两个主要限制——一是忆阻技术仍未广泛应用。二是转换所需的转换器成本高模拟计算到数字数据，反之亦然。”

在开发他们的神经形态计算系统时，Kvatinsky 和他的同事着手克服基于忆阻器的系统的这两个关键限制。由于忆阻器并未广泛使用，他们决定改用 Tower Semiconductor 开发的商用闪存技术，将其设计为像忆阻器一样工作。此外，他们专门用新设计的 DBN 测试了他们的系统，因为这种特殊模型不需要数据转换(即，它的输入和输出数据是二进制的，并且本质上是数字的。

“DBN 是一个古老的机器学习理论概念，”Kvatinsky 解释说。“我们的想法是使用二进制(即值为 0 或 1)神经元(输入/输出)。有几个独特的属性(与深度神经网络相比)，包括这种网络的训练依赖于计算累积的期望模型更新并仅在达到特定阈值时更新它。”

研究人员创建的人工突触是使用商业互补金属氧化物半导体 (CMOS) 工艺制造的。这些基于硅的忆阻突触具有许多优势特性，包括模拟可调性、高耐久性、长保留时间、可预测的循环退化以及跨不同设备的适度可变性。

Kvatinsky 和他的同事通过在模式识别任务中训练一种称为受限玻尔兹曼机的 DBN 来展示他们的系统。为了训练这个模型(19x 8 忆阻器受限玻尔兹曼机)，他们使用了两个 12 x 8 阵列的忆阻器。

“DBN 的简单性使它们对硬件实施具有吸引力，”Kvatinsky 说。“我们表明，即使 DBN 易于实现(由于它们的二进制性质)，但在使用基于 Y-Flash 的忆阻器时，我们可以达到高精度(>97% 的手写数字准确识别)。”

该研究团队引入的架构为运行受限玻尔兹曼机和其他 DBN 提供了一种新的可行解决方案。未来，它可能会激发类似神经形态系统的开发，共同帮助更高效地运行人工智能系统。

“我们现在计划扩大这种架构，探索更多的忆阻技术并探索更多的神经网络架构。”