阿里巴巴第一款AI芯片背后，有什么深层次思考？

昨天，阿里巴巴发布了第一款AI芯片——含光800。除了参数外，还有怎样的故事和深层次考虑？最近一两年，只要国内有公司发布AI芯片，就会在各大社交圈、媒体中炸开锅。日子过不了多久，就会淡去，留下三三两两历史记录中的文章。但我们很少知道背后的故事，这并不是几日的技术狂欢所能说清的。昨天，阿里巴巴发布了第一款AI芯片——含光800。合着云栖大会的热闹，该芯片瞬间成为了近日最闪耀的头条新闻。当阿里CTO张建锋在会议厅展示这块芯片时，介绍很简短，除了参数外，并没有介绍背后的故事。

“前几天，我们都还不知道能不能完成。只能每周干7天，每晚干到12点。就在15号凌晨时，我们最后一批人早上5点20离开（实验室），终于调出来了。当时很多人说不可能，但我们做到了。” 阿里巴巴达摩院平头哥AI芯片研究员焦阳（骄旸）在接受TechSugar等媒体采访时，说到了这款芯片背后的故事。

故事的开头夹杂的质疑，故事的结尾如这批研究员所愿。

这颗芯片

7个月完成了前端设计，之后用3个月就成功流片，速度的确惊人。

据现场介绍，在业界标准的ResNet-50测试中，含光800推理性能达到78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。在杭州城市大脑的业务测试中，1颗含光800的算力相当于10颗GPU。

人工智能芯片分论坛中，焦阳介绍了更多该芯片的细节，如下两张图。

含光800采用四核设计，其包含170亿颗晶体管，采用台积电的12nm工艺。之所以采用四核架构，焦阳表示：“在设计之后，由于良率提升需求，四个Core任何有一个Core坏死，都不影响芯片工作，这是我们在架构设计时做的特别处理。”

此外，计算单元尽量被放在了存储边上，这是功耗做的很低的原因。

含光800性能的突破得益于软硬件的协同创新：硬件层面采用自研芯片架构，通过推理加速等技术有效解决芯片性能瓶颈问题；软件层面集成了达摩院算法，针对CNN及视觉类算法深度优化计算、存储密度，可实现大网络模型在一颗NPU上完成计算。

含光800已开始应用在阿里巴巴内部核心业务中。根据云栖大会的现场演示，在城市大脑中实时处理杭州主城区交通视频，需要40颗传统GPU，延时为300ms，使用含光800仅需4颗，延时降至150ms。拍立淘商品库每天新增10亿商品图片，使用传统GPU算力识别需要1小时，使用含光800后可缩减至5分钟。

含光800将通过阿里云对外输出AI算力。基于含光800的AI云服务当天正式上线，相比传统GPU算力，性价比提升100%。

过去半年，平头哥先后发布玄铁910、无剑SoC平台。随着含光800的发布，平头哥端云一体全栈产品系列初步成型，涵盖处理器IP、一站式芯片设计平台和AI芯片，实现了芯片设计链路的全覆盖。

张建锋说：“在全球芯片领域，阿里巴巴是一个新人，玄铁和含光800是平头哥的万里长征第一步，我们还有很长的路要走。”

到底怎么想的？

在发布会结束后，笔者从分论坛中，了解到了这款NPU更多的故事和背后的想法。首先是为什么——阿里巴巴为什么要做云上大芯片？

从焦阳的回答中，笔者总结为以下几点：

1，阿里巴巴云计算是一个快速增长的业务，在业内处于领先地位。硬件设计可以帮助阿里巴巴快速拓展业务，降低计算成本，提供海量的计算能力。云计算走到今天，如果没有硬核就很难继续往下走，未来很难在算力上有更多的提高。

2，这不是为了短期商业化，而为更远的愿景。以技术为本，打造过硬的技术。

3，为什么做推理而不是训练？虽然在AI发展中，第一步都是要做很多的训练，但随着算法高速发展之后，将迎来推理端的发展。阿里巴巴涉及的业务，如城市大脑、视觉分析等，算力大大提高其计算效率，把真正的业务量达到突破，从而在云计算中增加更多流量，解决未来业务发展目标。

4，阿里巴巴与传统互联网公司不同，除了搜索和广告业务，还有更丰富的视觉类业务，如淘宝图片、搜索、智能城市、智能工厂等。基于这些业务，CNN加速是对NPU的一个重要方向点，此外阿里还将扩展到新的模式适配。（如下图）

在提到未来芯片计划时，焦阳非常务实地说道：“第一步先把技术做深做扎实，达摩院或者其他的技术团队，目前都在做很多的项目，我们需要从业务中了解业务，不能仅限于只做业务，需要举一反三，来产生更有深度，更有技术水平的产品。含光虽然已经取得了初步的结果，但这远远不够，我们要达到英伟达的水平还有很长的路要走，有了好技术才能有章可循，没有技术，连推产品都推不动。”

“AI芯片是新的领域，新领域本身就存在很多机会。而且人工智能算法是需要特殊架构的，对于阿里巴巴来说，就是挑战皇冠上的明珠。”有20年GPU领域工作经验的焦阳，谈到公司未来也是充满信心。

阿里芯片的边界

前不久，看到新闻上提到马云在阿里巴巴卸任现场上演唱了《怒放的生命》时，我突然发现，凡人已经很难阻止阿里巴巴了。

2017年，宣布成立达摩院；2018年成立平头哥；2019年便掏出了这一款AI芯片。对2020年的大事，目前笔者还没嗅到什么消息，凭借阿里的想象力，总预感会有大事发生。

其实在芯片这块，阿里巴巴的所涉及的部分已经超过一般人所知。

阿里巴巴集团副总裁周明的题为《阿里巴巴基础设施挑战与芯片策略》的演讲中提到，如今阿里在技术分布有CPU、异构计算、NPU、FPGA；互联和网络部分则有自研网络交换机及NOS、自研400G硅光模块、HAIL2.0数据中心网络架构；存储端集合了从SSD到DRAM到新型存储截止爱到服务器的一体机，其中包括AliFlash V3、AliFlash V5.0、阿里巴巴自研云计算服务器、阿里巴巴边缘云服务器。

因为基础设施的加持，才有云栖大会第一场主论坛中，阿里巴巴董事局主席兼首席执行官张勇对数字经济的畅想，他表示：“在数字经济时代，大数据是石油，而算力是引擎。算力不仅代表计算的规模和计算的效率，同时它也包括数量的要求、智慧的程度。算力的发展，最终一定是“数”和“智”全面结合。只有这样，我们才能够在走向数字化的同时，真正走向未来我们共同相信会全面爆发的智慧化、数智化。”