中科创达孙力：AI视觉仍在路上，平台需求胜过算法

从2018年AIoT产业布局来看，主要有以下几个大的趋势：

边缘计算不断被强调，存储、计算的布局重点从云端回到边缘侧；

AI被不断强调，整个行业从强调IoT连接到AI赋能；

产业落地提上日程，各类行业解决方案不断提出并开始落地，整体解决方案需求远高于纯算法需求。

据了解，5月24日，在Qualcomm人工智能创新论坛上，美国高通公司宣布与中科创达（创通联达）展开深度合作，双方通过其最新的终端侧AI商用技术将发布前沿的AI开发套件——TurboX AI Developer Kit；10月24日，TurboX AI Kit正式面市，中科创达通过围绕该开发套件举办全球开发者活动收集算法和应用，助推AI从算法模型转向产品化和商业化。

12月13日，在THUNDERWORLD 2018上，中科创达副总裁孙力就当下AI视觉的技术及行业应用和挑战，以及TurboX AI Kit相关技术及应用进行了解读和分析。

图像处理系统面临的挑战

谈到视觉技术，先要有Camera进行图像抓取。以手机为例，首先要有相关模组进行图像采集及应用；要有主芯片，涉及到功耗优化、性能优化，以及系统驱动；要有一些算法，不光是人脸识别、美颜，包括传统的拼接，光学的处理、降噪，都需要有相关算法。

从图上可以看出，这个系统架构是比较复杂的。中科创达是做操作系统的公司，本身的子模块、子系统也非常地复杂。整个从最底层的驱动到核心的曝光、聚焦，这些算法一直到视频的处理，整体架构会非常复杂。

要做一个优秀的图像处理系统，其实有很多挑战。

首先，图像采集这个环节有很多挑战，包括摄像头模组的选择、图象处理算法的选择、芯片加速、画质调优等；

其次，硬件的碎片化需对画质进行复杂的调优流程，实验室与实际生活场景有很大的不同，因而，也需要对画质进行复杂的调优流程；

另外，在进行系统设计时，功耗和性能又需要作出权衡和调整。

其中，画质调优（IQ）是很复杂的一部分，也是图像处理最重要的一部分。要采集最优图像，包括亮度、白平衡、对比度、颜色都要非常地精准，这些都要进行调试。

画质调优主要分为三个阶段：

第一，先把基础的软件、驱动做好，包括软件功能检查、无重大Bug影响IQ、验证原始图片（EXIF、AE参数，校准数据）等；

第二，为实验室配置诸多专业设备，进行实验室调参，包括LSC、AWB、AE、Gamma、对比度增强、CCM、DPC、滤噪、边缘增强等参数检测及处理；

第三，真实场景调参，与参考设备对比拍摄并调整，参考设备包括包含：人物、宠物、风景、肖像、户外、低光、办公室、家庭、闪光灯、背光、电影等。

为加强相关能力，2017年12月，中科创达以3100万欧元收购全球领先的移动和工业图形图像视觉技术企业——保加利亚技术公司MMS，从而拥有世界顶尖IQ团队，得以在画质调优方面有足够强大的能力，为AI赋能行业应用奠定了基础。

据了解，这其实并非中科创达第一次海外并购，中科创达第一次海外并购是在2016年底，以6400万欧元收购位于芬兰的车载交互技术公司Rightware，这一收购也加快了中科传达在车载领域的布局。

硬件加速的应用与3D视觉的兴起

在视觉技术中，硬件加速在近年来备受关注，也是对图像相关计算进行提升的关键部分。孙力在大会上也提到，“你会发现，大量的算法公司，一旦到了IoT时代就无法再继续，无法真正用上如GPU这样的加速硬件，因为要真正用上GPU这样的嵌入式硬件需要很多能力。但是这种嵌入式硬件在对算法加速上有很大帮助，不用的话就浪费了硬件能力，也会产生功耗的问题。例如手机或汽车多个摄像头的拼接，这其中的拼接算法能用GPU，尽量不要用CPU。”

以汽车应用为例，现在谈的比较多的是ADAS本身，其中将会经历「从外置的ISP到内置的ISP，再到Bayer Sensor」的技术变革。目前的主流方案仍然是用外置ISP，但在汽车里的图像传感器会经历类似于手机从功能机到智能机的演变。

目前的主流方案仍然是用外置ISP，价格为2-3美元，外加摄像头，一共8美元，这样的成本问题，以及发热问题、环视等应用的拼接问题，势必造成类似手机从功能机到智能机的迁移。

在图像视觉方面的另一个趋势是3D图像技术的兴起。现在很多在用的，包括竞赛中应用的算法，仍是2D的，但是，从现在技术发展需求及发展趋势来看，3D视觉技术将会越来越普及。

目前，3D视觉技术的普及主要还面临以下几个问题：

BOM成本，由于规模化的问题，还没有降低到平民化；

多种的光学设计，碎片化(ToF、结构光、双目、主动双目等)问题严重；

嵌入式的SoC的depth map的运算能力(PC辅助到嵌入式ARM based)；

多套使用的完整建模问题；

RGBD，基于3D的人工智能学术进展。

我认为未来的3D技术会为AI带来很大改变，人工智能也会突然出现，包括物体分类也可以做得很好。

智能视觉与边缘AI开发套件

了解到，整个视觉市场近年来持续被看好，嵌入式视觉终端数量持续增长，诸如Amazon AWS DeepLens、Google AIY Vision、Microsoft Vision AI Developer Kit等，市面上有越来越多的边缘端智能视觉设备出现。正因如此，中科创达联合高通公司，基于高通骁龙845平台、AI Engine人工智能引擎，推出TurboX AI Kit嵌入式端侧/边缘AI开发套件，10月24日，TurboX AI Kit正式面市。

尽管市场趋势向好，嵌入式AI算法仍然面临诸多挑战，存在诸如计算资源有限、终端处理平台碎片化、应用场景和需求多样化、性能（准确率-速度）的平衡与取舍、生态系统不成熟、功耗与成本较高等问题。

在嵌入式方面最关键的还是硬件和软件的深度结合。

在硬件方面，IoT使得设备联网，第一件事是要先看功耗、发热、加速等问题。AI运算加速引擎要在满足功耗、加热等限制条件的前提下，尽可能使用现有的DSP、GPU、NPU等加速硬件，与芯片平台深度结合，实现AI运算加速引擎。

在软件算法方面，核心是降低算法计算量。设计适合嵌入式平台的模型架构，一方面要裁剪模型，另一方面要与场景的深度整合及适配优化，共享深度学习模型中的超参数，压缩网络。

AI赋能行业需要平台，而非只是算法

近年来，AI已经逐渐开始赋能行业，在这其中，也存在一些问题和挑战，主要包括以下三个方面：

首先，客户期望的是包括数据获取、隐私问题、训练、生产管理系统、私有云部署，以及前后端等在内的整体解决方案，而不是纯算法；

其次，客户衡量AI技术的预算不是根据AI作为高大上的技术来做的，而是根据生产力的提升（用户体验提升、销售转换率等）、运行效率优化，及经营业绩能承受的预算能力来反推的，这和目前昂贵的AI投入成本（人力、服务器等）是矛盾的；

另外，行业客户的工作流程、部门职能等还未能围绕先进生产力来进行部署和优化，客户期望一次性投入建设一个人工智能平台，可以一劳永逸地实现自我训练、升级和部署，对比于现在需要定制化的算法，未来围绕需要解决的领域问题，少数的人力服务于算法的流程需要被建立。

最后，孙力还特别强调了两个观点：第一，AI需要一个小的平台和引擎，而不是仅仅提供一个算法；第二，不能太迷信AI的算法，有的时候还得用传统的图象处理的算法。

企业花300万买了一套GPU算法，怎么管理这些数据呢？你需要把整个AI模型从构建、管理、运行，整个生命周期管理起来，并需要提供调度、界面、UI等。所以整个AI平台是必须的。