在不同领域埋下座位，深挖三星强大的背后

物联网配合人工智能将会给社会带来巨大的变化，然而目前基于深度学习的芯片难以实现物联网对于低功耗的需求。这时候就是神经模态芯片大展身手的地方。

神经模态计算目前或许只要把神经元的数量和神经突触连接数量跨过一个阈值，那么神经模态计算就有可能爆发出巨大的能量，甚至远超之前的想象。

GPU在AI主导地位将终结

IBM大胆预测，GPU在AI中的主导地位正在结束。GPU能够为图形处理进行大量的并行矩阵乘法运算，这种矩阵乘法碰巧与神经网络所需的完全相同。

因为没有那些GPU，我们永远无法达到今天在AI性能方面已经达到的性能水平。但是，随着更多企业已经掌握了更关于如何实现人工智能的知识，他们也在寻找设计出更高效硬件的方法和途径。

工程界已经意识到，降低能耗的关键是尽量减少计算架构中出现数据必须从内存迁移到处理器用于计算的这一情况发生，因为这样的迁移需要耗费大量时间和精力。

模拟技术天然适合边缘的人工智能。模拟计算需要低功耗，证明它具有高能效，但却不准确。模拟正在回归，因为内存计算与模拟计算可以相互配合。内存阵列负责神经网络权重，模拟元件负责求和和触发。

而人工智能学科发展与人类智能差距之一就是对多模态信息的智能化理解。人造信息量带来了更大多样性，视觉、声音、符号语言、嗅觉和触觉等信息，具有无限多样性。

神经模态计算的重要意义

①目前的深度学习仅能实现人类大脑极小一部分的功能，距离人类的智能还有非常远的距离，而使用神经模态计算直接模仿神经元系统在人工神经元数量足够多时，或将有希望能实现比起深度学习更好的效果，更接近人类大脑。

②目前深度学习计算在部署上遇到的困难是能效比和延迟问题，在对于功耗要求非常低的物联网领域，以及对于延迟要求非常高的领域无人驾驶领域，部署深度学习会遇到很大的挑战。

恰好神经模态计算则可以解决这两大问题

①神经模态计算的一大优势就是其计算功耗与输入有关，在输入不会激活大量神经元的情况下，其功耗可以做到非常低。

②对于物联网应用来说，神经模态计算可以利用这样的规律，仅仅在需要的时候激活神经元消费能量来完成事件识别，而在其他没有事件的时候由于神经元未被激活因此功耗很低，从而实现远低于深度学习芯片的平均功耗。

③神经模态计算并非常规的冯诺伊曼架构，神经模态计算芯片一般也不会搭配DRAM使用，而是直接将信息储存在了神经元里。这样就避免了内存墙带来的功耗和延迟问题，因此神经模态计算芯片的延迟和能效比都会好于传统的深度学习。

神经模态芯片发展的方向

①神经模态芯片的发展方向首先是规模化，即扩大神经元的规模，这也是Intel和IBM等大厂主要押注的方向。

②利用神经模态计算低功耗和低延迟的特点并进一步优化芯片设计来开发出高能效比低延迟的芯片。这类芯片或许神经元数量不多，但是可以实现非常低的功耗和非常好的能效比，从而可以部署在传统深度学习无法部署的场景。

神经模态芯片的商业化落地

①对于Intel和IBM这类在大规模神经元领域大量投资的公司，更看重在这几年内把神经模态计算的研究、生态先做起来，等到神经模态计算研究取得突破时就能获得先机。

②在中等规模神经元规模、主打低功耗的神经模态芯片方向上，物联网将会成为最佳的落地应用。

多模态人工智能存在不少难点

①数据模态多种多样，包括2D图像、3D模型、结构化信息、文本、声音及更多无法量化的数据。

②多模态数据的不对应，如从图像到文字，从文字到图像，都是“一对多”的过程，会有多种的描述和呈现。

③多模态数据的融合，一个软件或算法的进步较为容易，但多个算法一起，难度将几何级上升，要经过语言模型、三维建模、自动寻路、图像分析这些步骤。

④多模态监督。

AI芯片向多模态演进

目前，物联网和人工智能都是发展大势，而AI芯片正处于从通用型向专用型发展和转化的过程当中，特别是在物联网边缘侧，通用型AI芯片的计算效率较低，继而带来了成本和功耗的失配。

在物联网应用初期，很多AI芯片都是以单模态功能切入市场的，最为普遍的就是语音应用。但是未来的应用会是多模态融合的，机器人就是一个典型的多模态应用实例，还有如车载芯片，因此多模态是市场发展的必然趋势。

对于架构，虽然每家芯片企业的架构都有各自的特点和实现方法，支持机器学习的算法会逐渐形成统一的框架。未来有可能形成在不同AI芯片硬件上面，可以运行所有神经网络的模型，这在不久的将来是完全有可能出现的。

随着5G和物联网的大面积铺开，低功耗AI芯片将是未来的主要发展方向，只要相关标准能够确定，则商机无限。

企业先后跨足神经形态领域

虽然2016年时在航空、军事与国防、汽车、消费、医疗、金融服务、基础设施和公用事业等产业中使用神经形态技术的应用并不多，但在接下来的十年，这些产业将开始大量采用神经形态技术。

像IBM、Intel、惠普等巨擘都跨足这个领域，为神经形态晶片开发硬体，同时，高通也计划在2018年以前商用化其认知运算与机器学习平台Zeroth，从而将神经形态功能整合在嵌入式系统中。

整体神经形态晶片市场在2016年时约有12亿美元的价值，并以26.3%的复合年成长率成长，在2022年时达到48亿美元的市场规模。

而这还不包括消费终端产业，而是指由工业检测、航空、军事与国防等领域所带动的神经形态晶片市场需求。到2022年，亚洲将占据一半以上的神经形态市场。

国内神经模态芯片被重视

国内神经模态芯片得到了国家和业界的重视。清华类脑计算中心做出了卓越的贡献，其工作发表在全球顶级期刊和会议上。上海也于今年建立了上海脑科学与类脑研究中心，神经模态计算是该中心的重点方向之一。

在商业化方面，清华类脑计算中心孵化的初创公司灵汐科技在今年发布了自主研发的“天机二代”芯片系统，使用众核存算一体架构，具有高速度、高性能、低功耗的特点。

相比国外同行，我国的神经模态计算在最近几年得到了来自国家非常高的重视，相信在未来几年内将会有全球领先的成果诞生。

过去几年，尹首一副教授针对这一前沿课题，领衔研究和设计了可重构多模态混合神经计算芯片(代号Thinker)。

Thinker芯片基于该团队长期积累的可重构计算芯片技术，采用可重构架构和电路技术，突破了神经网络计算和访存的瓶颈，实现了高能效多模态混合神经网络计算。

Thinker芯片具有高能效的突出优点，其能量效率相比目前在深度学习中广泛使用的GPU提升了三个数量级。

其支持电路级编程和重构，是一个通用的神经网络计算平台，可广泛应用于机器人、无人机、智能汽车、智慧家居、安防监控和消费电子等领域。

结尾：

目前Intel和IBM在内的企业正积极探索超低功耗神经模态芯片在不同领域的应用，在未来几年内随着AI+IoT的发展，神经模态计算将会迎来一波新的热潮。

目前如何高效训练大规模神经模态神经元的算法还没有找到，因此在现有训练框架的基础下，或许优先把能效比做到极致是比把神经元数量做大更接地气的方向。