2019年人工智能技术峰会大数据和AI技术应用论坛圆满结束

人工智能有三大要素，分别是算法、算力和大数据，而大数据更是被誉为新时代的“原油”。在6月28日举办的2019人工智能技术峰会，大数据和AI技术应用分论坛上，来自Arm China、中安信业、赛灵思、雪湖科技、巨龙创视、以及EIOT大数据实验室的专家就大数据分析和AI的技术应用的发展趋势及解决方案与现场工程师进行了分享。

Arm中国AI产品经理杨磊分享的主题是《周易AIPU赋能边缘AI设备》，在他看来，AI芯片的基础技术格局可分为云端和边缘端，目前AI训练基本上都是在云端进行的，需要用到的芯片主要是CPU、GPU和TPU等计算能力相对更强的芯片；但AI推理就不同了，有在云端进行的，也有在设备端进行的，而且现在越来越多的推理被放到了边缘侧实现。

图：Arm中国AI产品经理杨磊。

因为现在人工智能应用正面临这下面三大挑战：

一是数据隐私性的问题。目前人工智能应用最多的领域是视频和图片，以及自然语音处理，这些数据的处理基本都是在云端进行的，但这些数据传到云端后会有一个隐私问题，有些数据人们其实是不想传送到云端的。

二是算力问题。由于AI需要做的事情很多，比如物体检测、人体检测和识别、跟踪，以及行为分析等等，加上现在的摄像头分辨率越来越高，从720p 到 1080p ，再到4K， 使得AI对算力的要求越来越高。这就要求芯片具有更高的性能，从几百GOPS到几TOPS。

三是功耗问题。因为边缘侧功耗限制，设备一般只有几瓦， 留给AI运算的部分只有几百mW 到2W，这就需要新技术来应对这个难题。

为了应对这三大挑战，Arm中国提出了一个解决方案，那就是周易人工智能平台。该平台使用的AI处理器Zhouyi AIPU，采用了全新的为AI设计的专用指令集，具有高性能和高灵活性，单核有0.5、1、2、4TOPS可选，还支持多核；是一个具有硬件IP、软件SDK和NBB的全栈解决方案；更重要的是，它支持安全扩展。

那全新的专用指令集是如何实现高性能和高灵活性的呢？杨磊解释说，这是因为Arm采用了不同颗粒度的指令集，客户可以根据自己的需求用类似搭积木的方式来设计自己的AI处理器。

“指令集根据运算能力从小到大，可分为标量指令、向量指令和面向AI硬件加速的AI固定指令。”杨磊表示。

为了满足定制化和差异化需求，周易人工智能平台还支持用户根据特定场景，自定义扩展AI Fix Function指令。

杨磊还特别指出，在人工智能开发过程中工具链也是相当重要的，Arm可以提供完整的工具链供工程师使用。其“一键式”周易软件工具链，包括比如Build Tool/Driver、性能优化库、软件仿真器，以及AI算法示例等。可以实现一键从算法模型到周易可执行文件生成。

图：具有周易AIPU的参考芯片框架图。

在《如何使用Google Coral来构建终端侧AI》的主题演讲中，中安信业的大数据部大数据总监张岩则介绍了Google Coral开发平台、TensorFlow Lite模型、如何使用Coral开发板和预编译模型来快速进行验证，以及如何构建模型等。

在他看来，传统的IoT应用，主要集中在传感器的数据采集，仅做初步分析，或不做分析，就将数据传送至云端，设备的ROI较低。而AIoT就是AI加上IoT，即在物联网设备中加入人工智能元素，使物联网设备更加智能，从而解决实际问题。

图：中安信业的大数据部大数据总监张岩。

AIoT增强了边缘侧的处理能力，缩短了系统的反应时间、节省了海量数据传输及带宽耗用，提高了隐私性和安全性。

张岩表示，现在AI算法模型有轻量化的趋势。模型设计方面，主流算法轻量化趋势明显，计算量及权重大小减少了几十倍；模型压缩方面，模型压缩方法层出不穷，有权重量化、剪枝、共享、哈夫曼编码、低秩分解、迁移/压缩卷积滤波器，以及知识蒸馏等。

通过这些技术，谷歌将在云端的自然语音处理包的大小从500G降低到了500M。从而可以使自然语音处理在边缘侧就能实现。

在张岩看来，智能设备和物联网是未来几年的最大潜力增长点，而人工智能将是推动高速增长的关键。随着AL/ML研究的持续发展，将会有更多的AI能力在智能设备上应用，更多的AI能力从“云”上，迁移到设备中。

因此，在软件上，需要更适合终端设备的更小、更快和更强的算法模型；在硬件上，需要可在终端上做机器学习推理的硬件解决方案。

图：google Coral是一个用于开发智能设备的机器学习应用平台。

而Google Coral是一个用于开发智能设备的机器学习应用平台，它包括Google的TPU，支持TensorFlow框架，可以用来做人工智能的训练和推理。开发者可以利用成熟的模型来快速实现原型和产品验证。

Coral产品套件包括硬件和组件，硬件包括一个开发板和一个USB加速棒。开发板可以支持TFLite模型在上面直接做机器学习推理的功能；也可以将它作为一个单板计算机使用，直接接上IO外设来做原型开发。部署AI应用和只用SoM板来扩展到生产中，绑定相应的软件和定制化的硬件。

在使用Coral机器学习模型方面，主要有三种模式。一是使用预训练模型来训练；二是使用迁移学习，也就是使用预训练模型+自己的数据来训练模型；三是使用自己的模型来进行训练。

赛灵思的AI市场开发总监刘竞秀分享的主题是《FPGA------智能计算加速引擎》，他在演讲中表示，目前AI应用的处理器主要有CPU、GPU、FPGA和ASIC，其中ASIC的效率是最高，但也有很多限制，比如做一颗ASIC的成本比较高，必须要有很大的出货量才能分摊掉这些成本，二是要求算法不变。但现实是，现在的AI算法还在不断演进当中，每隔几个月就可能会有一个新的算法架构出现。

因此，在这个特定的时间窗口，FPGA的半定制方案成为了AI的一个选择。

图：赛灵思的AI市场开发总监刘竞秀。

据刘竞秀介绍，目前赛灵思的战略是数据中心优先，加速核心市场发展，驱动自适应的计算。而数据中心的业务包括计算加速、存储和smartNIC与网络加速。

比如其Alveo 加速器卡，可以用来大幅提升云端和本地数据中心中业界标准服务器的性能。利用 Alveo，客户在运行实时机器学习推断以及视频处理、基因组学、数据分析等关键的数据中心应用时，有望以较低时延实现突破性的性能提升。

Alveo 加速器卡针对各种类型的应用提供显著的性能优势。就机器学习而言，Alveo U250实时推断吞吐量比高端CPU高出20倍，相对于高端GPU等固定功能的加速器，能让2毫秒以下的低时延应用性能提升4倍以上。此外，Alveo加速器卡相对于GPU能将时延减少 3 倍，在运行实时推断应用时提供显著的性能优势。数据库搜索等一些应用可从根本上得到加速，性能比CPU高90倍以上。

刘竞秀在演讲中表示，赛灵思的数据中心计算生态系统正在不断扩大。在技术与系统方面，有AMD、Arm、华为、IBM、Mellanox，以及Qualcomm等合作伙伴的支持；在云端开发与部署方面，有亚马逊、阿里巴巴、百度、华为、Nimbix和腾讯云的共同参与；在应用、工具与社区方面，则有Bitfusion、深鉴科技、Ngcodec等公司的共同合作。

图：赛灵思的人工智能整体解决方案。

他同时还介绍了赛灵思在人工智能方面的解决方案，其中包括底层各种硬件，有赛灵思的平台化产品，也有客户开发的产品；以及FPGA IP、软件堆栈和模型。

刘竞秀强调，赛灵思会提供有些算法模型供客户选择，这些算法可以让客户更灵活地把FPGA用好。比如常用的目标检测分类、人脸识别、行为分析、视频分析等。他承认这些算法其实很多公司都有，赛灵思提供的这些算法模型也并不是说精度更好，只是对赛灵思的平台更友好。

他同时还列举了赛灵思人工智能在视频分析和医学影像分析方面的应用。

最后，他总结说，赛灵思不论是从器件，还是开发板，抑或FPGA即服务方面都将赋能开发者，让开发者更容易地开发出适合自己需求的产品。

雪湖科技市场总监李冬冬的分享主题是《深度学习网络&FPGA协同设计，弥补AI、BIGDATEA、CLOUD算力缺口》，目前，摩尔定律已经进入暮年，以CPU为主的芯片性能迭代速度放缓，AI、BIGDATEA、CLOUD对于算力的的需求呈指数级增长，然而面对算力缺口的问题，需要通过GPU、FPGA、ASIC等用计算加速方式来弥补。

图：雪湖科技市场总监李冬冬

在演讲中，李冬冬对比了GPU、FPGA、ASIC作为主流加速平台各自的不足和优势，市场目前普遍认为，ASIC将会成为主流，因为ASIC效率、逻辑密度和性能功耗比都是最好的，但它面临两大问题，研发费用非常高，开发周期长达2-3年，跟不是市面上很多网络的迭代3-4个月的迭代时间，因此GPU和FPGA有很大的市场空间。

对比FPGA 和GPU可以发现，GPU因为它通用性非常高，各个算法都可以支持，市场应用空间很大，但问题是，GPU因为通用性非常高，导致落地密度和性能都比较低。

李冬冬在演讲中表示，目前FPGA的的性能和灵活性都介于GPU和ASIC中间，雪湖科技可以提升逻辑使用效率，简短逻辑开发时间，补齐FPGA的传统短板，进而拓展FPGA应用场景，加速人工智能落地。

据介绍，FPGA可以对各种算法网络进行硬件加速，包括且不限于FastRCNN、Yolo、RestNet、MobileNet、SSD、FaceNet、IncepTIon、R FCN、Deeplab、NLP、etc等等，FPGA硬件加速效果显著，比如FastRCNN可以从1FPS增加到24FPS，Yolo_V3 TIny 从8FPS增加到66FPS。

雪湖科技成立于2017年，已获得美图在内的两轮风险投资，公司专注于基于FPGA的加速器开发，李冬冬表示，雪湖科技研发方向主要是将深度学习神经网络（算法）和FPGA相结合，雪湖科技的产品类型有三类，标准神经网络加速器、定制神经网络加速器和科学计算加速器，产品主要应用在公有云、私有云、边缘计算和自动驾驶等方面，未来，工业控制、机器人、无人机等应用方向也会规划在内。

巨龙创视技术支持工程师吴亮的演讲主题是《安防+AI，如何落地？》，近十几年来，安放领域发生了不少的变化，2002年开始进入数字化安防，主要是板卡和DVR，2009年，高清IP化，主要是IPC和NVR，2016年进入智能化，主要是IIC和IVR。

图：巨龙创视技术支持工程师吴亮

在谈到安防行业现状时，吴亮认为，大工程、高利润大项目集中在行业巨头手中；渠道性产品价格越来越低；品牌越来越集中，设备越来越便宜，价格越来越透明，多年行业经验价值逐渐消失；AI产品当前市场占比很低，出货量不高，落地的不多。

而AI安防产品又面临怎样的市场现状呢？吴亮表示，AI安防的时代已经到来，AI产品第一波落地主要集中在大工程、大项目、大应用上，雪亮布控，新零售、智慧社区、智慧校园已经开始规模使用，但是大部分安防厂商反而没有参与；当前大部分AI产品价格高，落地难，鱼目混杂，普通用户无法为之买单。

面对如此的市场现状，吴亮认为，AI对于华南厂商来说存在诸多市场机会。

       首先，AI对于我们华南厂商是个绝对的利好，传统的IPC，NVR产品格局基本确定，AI的到来提供了更多的产品可能；

       其次，AI产品与传统安防有完全不同的分别，它已经由被动防御变为主动使用，是直接面对用户问题与刚需的产品；

       第三，每一次技术发展都拓展了产品的应用，可以发展华南企业的创造力，创造出新的市场机遇。厂商应该通过加大研发、关注客户需求、了解国内外市场行情等等方法抓住机遇。

巨龙是一家以智能视频为核心的智能产品及智能系统解决方案提供商，公司面向全球提供安防行业解决方案、智能视频类产品、智能大数据及互联网智能设备和服务。

       在会议上，吴亮重点介绍了公司的四颗智能芯片，3516CV500、3516DV300、3519A、3559A，以及人脸抓拍模组、人脸识别网关、人脸比对模组，双目活体门禁系列模组和人脸抓拍机芯。

EIOT大数据实验室首席技术官鲍镇博士分享的主题是《城市能源互联网——基于AI的社区和家庭能源管理平台》，目前，城市能源方面存在近两大问题，商区和社区能源管理系统缺失，以及环保和用电行为之间的鸿沟。鲍镇博士介绍到，他们找到了三个切入点，电力供需侧改革售电公司、能耗优化类商业建筑和家电信息个人消费者。

图：EIOT大数据实验室首席技术官鲍镇博士

鲍镇表示，售电企业都在争先恐后为客户提供相关的电能计量服务，为开展自己的售电业务提供数据支持，但是硬件设计开发和安装工程服务的成本过高，所以都在寻求低成本的解决方案；商业建筑目前采用传统的入户表计来监测能耗，但是无法分解到各个回路和设备的能耗情况，导致公司管理者无法形成明确的能耗优化意见；智能家居类产品门槛相对较低，行业已经形成白热化竞争的局面，个人消费者反映每个设备都自成一体，是信息孤岛，因而无法形成很好的数据生态和相应服务。

鲍镇还分享了他们的解决方案，怎么实现呢？通过低成本、多种形态、插件式、数据可视化的方法为社区和家庭用户解决精细化能源数据采集和分析的功能-非侵入式负荷监测。

        技术原理是基于机器学习和电器机理知识，对单点（对应到家庭电表和工业中的配电柜抽屉）能源数据进行分解和识别，进而得到单点下级的每个电器的精细化实时用电数据。这些数据可以用于售电公司做负荷预测，电网公司做需求侧响应，智能家居公司用于提升消费者的家居生活体验。

该技术是通过检测电流的暂态变化来发现相应的电器功率变化事件，算法主要特点在于：加入了独创的自学习标签识别系统，减少了传统算法中的打标签99%的工作量；设计了多尺度验证算法和机制，从时间、相似度、发生频率等角度提升非侵入式负荷监测算法的信心度。

目前，中国约14亿人，平均每3个人形成一个家庭，总的市场规模约4万亿+，北上广深（用电需求相对旺盛）一线城市中的收入中上等家庭，有一定的消费能力和环保意识，对新事物充满好奇心的人群是主要的用户群体，客户主要集中在售电公司、地产公司和物业公司。

EIOT大数据实验室该项目的产品主要包含基本的硬件和软件产品、基于云端的API服务和信息服务，包括为终端用户提供基本的硬件和软件产品；为中间服务商提供API服务，帮助客户完成终端产品，通过按量付费的形式收取服务费。对终端用户的数据进行二次封装，为中间服务商提供信息服务，并按使用时长、次数和规模收取服务费。

本次论坛，上述六位专家的分别从各个领域做了精彩分享，但是关于大数据和AI技术应用还存在很多问题和探索空间，未来将会持续为行业搭建更好的交流平台，输出更多有价值的内容。