首页 > 应用 > 智能硬件
[导读]边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

本文引用地址: http://www.21ic.com/app/computer/201809/823724.htm

●有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

●有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

●有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

 

1.jpg

 

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

 

2.jpg

 

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

HCL INT8量化计算精度变化

QQ截图20180914165533.jpg

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下

Tengine + HCL,不同人群的量身定制

Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。

换一批

延伸阅读

[智能硬件] AI热潮来袭! 2018Arm人工智能开发者全球峰会圆满举办

AI热潮来袭! 2018Arm人工智能开发者全球峰会圆满举办

首届Arm人工智能开发者全球峰会今天在上海圆满举办。此次峰会由上海市徐汇区政府指导,Arm中国及Arm人工智能生态联盟AIEC联合主办,共吸引了近千名来自全国各地的人工智能开发者的踊跃报名,创下Arm中国历年活动报名人数之最,充分验证了此次......

关键字:AI 人工智能 ARM

[智能硬件] 英伟达推出多款AI新品,专注于机器人和自动驾驶

英伟达推出多款AI新品,专注于机器人和自动驾驶

英伟达今天宣布推出TESLA T4 Tensor CORE GPU,引入了革命性的Turing Tensor Core技术,具有用于AI推理的多精度计算。T4提供从FP32到FP16到INT8以及INT4精度的突破性性能,其性能比CPU高出......

关键字:英伟达 AI

[智能硬件] 英特尔的AI之路:携手南京大学建立人工智能研究中心

英特尔的AI之路:携手南京大学建立人工智能研究中心

日前,南京大学与英特尔携手举行了人工智能IPCC中心揭牌仪式,这是英特尔在国内第一家以人工智能为主要方向的IPCC(Intel Parallel Computing Centers)。......

关键字:人工智能 英特尔 AI

[医疗电子] AI竟还能这么用?阿里云和正大天晴合作采用AI制药

AI竟还能这么用?阿里云和正大天晴合作采用AI制药

此次,借助阿里云的医疗AI,正大天晴获得了一种全新的化合物筛选方法。在这一新的方法中,实验人员可根据少量实验数据以及化合物结构,建立高效的机器学习模型,然后快速过滤无活性概率较大的分子,从而富集潜在有效分子,从而提升研究效率。数据结果显示,......

关键字:AI 阿里云

[智能硬件] 2018中国AI计算力排名出炉:第一竟不是北京!

2018中国AI计算力排名出炉:第一竟不是北京!

《报告》给出了中国AI计算力城市排名,前五位的城市是杭州、北京、深圳、上海、合肥,处于AI计算发展的第一阵营。......

关键字:AI 计算力 人工智能

[新闻速报] 骁龙845和麒麟980相比如何用AI提升手游体验

骁龙845和麒麟980相比如何用AI提升手游体验

时下很多手机中都加入了AI功能,麒麟980和骁龙845作为目前高端的手机芯片,均具有AI算力。麒麟980就采用了第三方授权的NPU核心来处理AI任务,而骁龙845则是依靠自身的技术积累,通过异构计算的方式带来强大的AI算力。当前手游玩家数量......

关键字:骁龙845 麒麟980 AI 手游体验

我 要 评 论

网友评论

技术子站

更多

项目外包

更多

推荐博客