人工智能下一个10年：算力的黄金时代

欢迎来到技术大院，你关心的就是我们关注的。

【导读】AI技术在未来将会如何发展，在上一篇文章《人工智能下一个10年：敢问路在何方？》中，笔者从人工智能的三要素数据、算法、算力的角度阐述了AI产业的演进趋势。

AI时代的算力、算法和数据处在一种螺旋式的提升关系中。未来10年，我们将进入一个“算力为王”的智能社会，算力成为AI产业的核心驱动力，算力的发展也将开启它自己的黄金时代。

本文我们就从算力的发展说起，聊聊未来10年，算力的挑战和机遇。

算力有多重要？

几个月前，笔者拿到一份有关人工智能的报告——《2020-2021中国人工智能计算力发展评估报告》。

报告预测，随着人工智能算法的突飞猛进，未来4年将保持30.4%的年复合增长率，2024年将达到172.2亿美元的市场规模。虽然受新冠肺炎疫情影响，中国人工智能整体市场规模增速未达到IDC去年预期，但仍将高于预测期内全球人工智能市场20.1%的平均增速。

报告也再次点出人工智能发展过程中一个普遍存在的需求和挑战——计算力，这是未来人工智能应用取得突破的决定性因素。

具体来看，缺乏模型训练所需的数据、算力基础架构存在不足，以及人工智能应用方案的成本过高等因素，是人工智能行业发展目前面临的主要挑战。而在人工智能三要素——数据、算法和算力中，算力已成为人工智能产业化进一步发展的关键。

当电力成为基础设施、成为工业主要动力的时候，人类才真正走入电力时代。而今天互联网和算力的渗透已经超过了过去所有基础设施，但还远远不够，人工智能还只是算力时代的第一个灯泡而已，更多我们不敢想的事情还远未出现。

只要算力足够强什么都有可能发生，甚至可能出现AI芯片利用并行能力模拟CPU指令集淘汰CPU的可能（你的程序运行在AI虚拟机上）。

在理论上，当有人掌握超过全网51%的算力，那么整个区块链系统就会被操控，失去去中心的特点。算力既权力，或许有些片面，但在数字货币网络中实质就是如此。还原人工智能本质，算力是产业AI化的创新“生产力”。

算力警告

人们从来没有想到过芯片的算力会有到达极限的一天，至少从来没有想到芯片算力极限会这么快到来。

麻省理工学院的研究人员去年就曾发出算力警告：深度学习正在逼近计算极限。

根据MIT的一项研究，深度学习的进展非常依赖算力的增长。他们断言，必须发明革命性的算法才能更有效地使用深度学习方法。

研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料，以理解深度学习性能和算力之间的联系，主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:

• 每一网络遍历的计算量，或给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数

  
  

• 训练整个模型的硬件负担，用处理器数量乘以计算速度和时间来估算

  
  

结论显示，训练模型的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于3年的算法改进成果。

算力提高的背后，其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。

无论是AI还是物联网，都逐渐成为生活的一部分。但时代变化、技术更迭，背后不变的是雪崩般增长的数据和与之伴生的算力黑洞。物联网推动数据几何级增长，人工智能和大数据技术，特别是企业级对算力的渴求，榨干了芯片企业每一丝算力，将这些数据转化为价值。而且在算法红利逐渐消失的现在，算力的增长就变成了货真价实的真金白银。

计算中有一个称为摩尔定律的概念，它假定计算能力每两年翻一番。OpenAI最近发布的一项研究表明，AI训练中使用的计算能力每3到4个月翻一番，这大大提高了我们习惯的标准进度。自2012年以来，人工智能要求计算能力增加300,000倍，而按照摩尔定律，则只能将AI提升7倍。

摩尔定律在计算芯片领域依然维持，很大原因是因为GPU的迅速发展，弥补了CPU发展的趋缓。从下图中可以可以看出GPU的晶体管数量增长已超过CPU，CPU晶体管开始落后于摩尔定律。

突破香农、冯诺依曼、摩尔瓶颈，推动算力发展

过去60年，传统计算与通讯范式有三个重要原理：

• 香农定律：定义了熵、信道容量和失真情况下压缩极限，我们距离这三个极限已比较接近

  
  

• 冯诺依曼架构：指五个最基本模块加上程序存储原理，是图灵意义下最好的一种实现。瓶颈在于数据和计算的分离。在深度学习中，庞大数据量本身就会形成一个瓶颈

  
  

• 摩尔定律：摩尔定律的不断演进发展,高性能芯片大幅降低了深度学习算法所需的计算时间和成本，摩尔定律正在逐渐放缓

  
  

如何突破这三个瓶颈？

• 重新定义“数据-信息-知识" ,制定全新的计算范式

  
  

• 设计实现全新的、通用的计算体系、感知体系、通讯架构

  
  

• 需要探索全新的芯片模态。传统的冯诺依曼架构已难以支持当前深度学习所需的计算要素

  
  

• 一是基于老架构，使其老树开新花，以英伟达、AMD、Xilinx和Google等为代表的芯片大厂基于冯诺伊曼计算架构继续发展GPU、FPGA和ASIC芯片

  
  

• 二是开发新架构，如存算一体芯片、软件定义硬件、类脑芯片等

  
  

当思考未来计算的时候，量子计算、光计算是向物理找答案，类脑计算、存算一体是向生物找答案，也就是向大脑找答案。

AI芯片的关键技术和挑战

广义上所有面向AI应用的芯片都可以称为AI芯片,从功能上分为：

• 训练

  
  

• 对AI芯片有高算力、高容量和访问速率、高传输速率、通用性的要求

  
  

• 推理

  
  

• 对于AI芯片主要注重算力功耗比、时延、价格成本的综合能力。实验证明低精度运算（如float16，int8）可达到几乎和float32同等的推理效果，所以AI推理芯片有低精度算力的要求

  
  

关键技术和挑战

• AI芯片当前的核心是利用乘加计算（multiplier and accumulation，MAC）阵列来实现卷积神经网络中最主要的卷积运算的加速。MAC阵列的大量运算，会造成功耗的增加。很多AI应用的场景对于功耗都有严格的限制，如何达到优异的性能功耗比是AI芯片研发的一个重要目标

  
  

• 深度学习算法中参与计算的数据量庞大，导致内存带宽成为了整个系统的一个瓶颈“Memory Wall”也是需要优化和突破的主要问题

  
  

• 提高编译器和工具链软件的优化能力、易用性越来越重要

  
  

普惠的算力

正如前面阐述的，算力有多重要，就有多昂贵。巨大的算力需求，使得GPU价格一直居高不下。高昂的成本，让更多的用户在AI世界的大门面前望而却步。

历史的经验告诉我们，一个产业的发展一般都有三个阶段：

• Make it work

  
  

• Make it perform

  
  

• Make it cheap

  
  

也就可用、好用、用得起，只有一项技术“飞入寻常百姓家”时，这项技术才能真正为全人类所用。

因此笔者认为：未来10年，算力平民化会成为AI的发展方向，也是必然趋势。

举个例子：

如果把GPU比作大巴车，AI的计算任务比作旅游团。计算量最小的任务，就如同三五人的小团体；计算量大的任务自然是上百人的大型旅行团。在传统的算力分配模式中，无论计算量大或者小，都会至少占用一个硬件单元。就像小团体出游，却占用整个大巴车，剩余的座位都是空的。正是这种模式，浪费了大量算力，降低了GPU芯片的利用率。

我们是否可以对传统算力分配模式颠覆。用最直观的比喻来说，做出一款可以“随需应变、动态伸缩”的大巴车。用户不再使用物理AI芯片，取而代之的是随需应变、动态伸缩的虚拟AI芯片。

软件实现AI加速器虚拟化和资源池化，灵活调配释放空闲资源，从而解决芯片利用率低的问题。

在数据中心里，最主要是由服务器提供算力，但是因为GPU非常昂贵，一般来说，不会每台服务器都配备GPU。在这种情况下，如果能够通过软件定义AI算力可以帮助用户让应用跑在没有GPU的服务器上，通过网络使用其他服务器的GPU算力。未来网络基础设施会变得越来越好，如果网络条件足够好，大胆畅想，甚至可以帮助用户在省、市的范围内来调配算力。

帮助用户根据他的需求来动态伸缩使用的资源。比如说，某一用户的任务刚启动时只需要一个甚至半个GPU，但是随着运行的不断推进，需要的计算量越来越大，就需要10个GPU，甚至更多。通过软件可以根据具体需求，动态变化所使用的资源。

如何实现普惠的算力？

• 针对芯片架构进行创新

  
  

• AI应用不同于传统计算架构，AI的算法、模型均有各自特点，因此，从新设计芯片的架构，使得性能、能效比达到最优

  
  

• 这也是初创企业最大的机会

  
  

• 软件定义硬件

  
  

• 虚拟化、资源池化等技术实现算力的动态可调，按需供给

  
  

• 生态开放和开源

  
  

• 规模化使能产业，在产业中实现规模化

  
  

• 实现盈利，保证产业健康可持续

  
  

• 在产业发展演进中实现产品和技术迭代

  
  

展望下一个十年

未来10年，将是人工智能算力的“超摩尔时代”

• 一方面，芯片制程技术从7纳米、5纳米到3纳米不断突破

  
  

• 另一方面，将人工智能算法和算力耦合设计，智能芯片的算力密度提升将超越摩尔定律约束，从而带来性价比更高的智能算力，让算力无处不在

  
  

• 5G传输技术的加持，也将以更大的传输带宽、更低的延时，让智能实时、可感、泛在

  
  

未来10年，人工智能跨学科将加快突破

人工智能的边界将被打破，范围将进一步拓展，并带来多维度技术和各应用场景的深度结合、叠加，产生更具冲击力和颠覆性的人工智能体验。

以医疗领域为例，将有望从医疗大数据时代进入医疗大智能时代，从强调医疗数据的量大转变为数据的价值密度大，真正让智能技术深度参与其中。

未来10年，算力平民化，以普惠的算力驱动AI产业发展

AI的普及是历史的必然趋势，算力平民化同样是不可阻挡的未来，以普惠的算力驱动AI产业发展。

未来10年，边缘算力需求持续加强

日益增长的业务实时性需求使边缘和端侧的计算能力变得越来越重要，IDC预测，到2023年，接近20％用于处理人工智能工作负载的服务器将部署在边缘。

2020年是边缘计算广泛落地的元年，人工智能算力也会逐渐向边缘渗透，无论是更接近于端侧数据产生的轻边缘还是更接近核心数据中心的重边缘，都将迎来较大的发展契机。

结语

如果把人类“力”史简单分分类，大致分成三个阶段：

• 冷兵器时期的——“人力时代”：那时候的一切基本靠肌肉，人能制造工具，让自己区别于了其他生物

  
  

• 工业革命开启了“马力时代”：虽然叫马力，其实这个单位评价的一直是物理功率和化学能量

  
  

• 时至今日，人类正在逐步被“算力时代”所取代

  
  

科学从亚里斯多德走到了牛顿，又走到爱因斯坦，算力从感官到了器械再到计算推导，当下所衍生的大数据、云服务、AI等都离不开算力的身影，从某种意义上说，计算力就是生产力。

当前，全球集成电路产业正处于深度调整的关键时期，主要国家和地区都把加快发展集成电路产业作为抢占新兴产业的战略制高点，投入了大量的创新要素和创新资源。

旧浪潮慢慢退去，下一个十年，新浪潮正在酝酿。在科技红利交替的潮汐里，只有顺着未来浪头的方向，才能拥有广阔蓝海。时不我待，只争朝夕，站在科技的风口浪尖，我们一起创造、迎接算力为王的黄金时代。

-----END-----