首页 > 应用 > 智能硬件
[导读]边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

本文引用地址: http://www.21ic.com/app/computer/201809/823724.htm

●有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

●有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

●有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

 

1.jpg

 

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

 

2.jpg

 

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

HCL INT8量化计算精度变化

QQ截图20180914165533.jpg

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下

Tengine + HCL,不同人群的量身定制

Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。

换一批

延伸阅读

[新闻速报] 宜鼎国际进军德国纽伦堡,大秀AIoT整合实力

宜鼎国际进军德国纽伦堡,大秀AIoT整合实力

2019年2月13日, 纽伦堡,德国 – 全球工业储存领导大厂宜鼎国际,连续多年在德国Embedded World (嵌入式电子与工业计算机应用展)亮相,随着今年AI与物联网应用持续发酵,宜鼎国际整合工业计算机接口设备、技术,以及软件,现场......

关键字:宜鼎国际 AIoT

[智能硬件] 特朗普为美国AI发展出力,签发人工智能行政令!

特朗普为美国AI发展出力,签发人工智能行政令!

这份行政令要求各个政府机构优先处理人工智能的研发投资,增加联邦政府数据和模型的访问度,以便研究如何适应人工智能时代。 ......

关键字:特朗普 AI 人工智能

[新闻速报] 地平线荣登CB Insights全球AI百强 成唯一上榜中国AI芯片企业

地平线荣登CB Insights全球AI百强 成唯一上榜中国AI芯片企业

日前,硅谷最强智库之一的CB Insights发布AI 100 2019报告,该报告在全球范围内评选出了100家“最有前景”的AI创业公司,其中有6家为中国公司。而致力于将AI算法和芯片进行软硬结合的人工智能创业企业地平线(Horizon ......

关键字:地平线 CB Insights AI芯片

[单片机新品] HOLTEK推出Arm Cortex M0+核心32-bit微控制器HT32F52344/52354,锁定高性价比及低功耗应用

HOLTEK推出Arm Cortex M0+核心32-bit微控制器HT32F52344/52354,锁定高性价比及低功耗应用

Holtek推出新一代Arm® Cortex®-M0+微控制器HT32F52344/52354系列,具备高效能、高性价比及更低功耗的特色,适合多种应用领域,例如TFT-LCD显示、智能门锁、物联网终端装置、穿戴式装置、智......

关键字:HOLTEK 微控制器 Arm Cortex M0+

[通信技术] 女子起诉T-Mobile,因该公司员工偷看其手机私密视频

女子起诉T-Mobile,因该公司员工偷看其手机私密视频

据外媒Arstechnica报道,一名女子起诉了美国运营商T-Mobile,因为后者的员工偷看其手机内的私密视频,侵犯了她的隐私。 ......

关键字:T-Mobile 数据传输 AirPods无线耳机

[智能硬件] 有没有危机感?主持人都要被AI取代了!

有没有危机感?主持人都要被AI取代了!

昨天是北方的小年,2019央视网络春晚于小年夜晚黄金档在综艺频道、央视网多终端同步播出,以“把爱带回家”为主题,在此次网络春晚上,人工智能虚拟主持人团队正式登台。 ......

关键字:AI 人工智能 机器人

[智能硬件] AI能力受认可,比特大陆拿下福建“城市大脑”大单

AI能力受认可,比特大陆拿下福建“城市大脑”大单

比特大陆董事长詹克团表示,比特大陆将利用自身优势,建设好福州“城市大脑”,全力推动“数字福州”发展。 ......

关键字:AI 必特大陆 人工智能 区块链

[智能硬件] 弥补AI人才短板,华中科技大学也成立人工智能学院

弥补AI人才短板,华中科技大学也成立人工智能学院

1月26日,华中科技大学举行人工智能与自动化学院、人工智能研究院揭牌仪式。 ......

关键字:AI 人工智能 大数据

[智能硬件] 华为AI音箱新技能:可与微软小冰互动

华为AI音箱新技能:可与微软小冰互动

据介绍,不仅是华为智能音箱,该联动功能也覆盖华为手机用户。所有升级至EMUI系统9.0(含9.0)以上的华为及荣耀手机用户,只要在负一屏搜索中输入“召唤小冰”,也可召唤出微软小冰,在手机端体验此次发布的“新年版猜歌名”等一系列小冰的特有技能......

关键字:华为 AI音箱 微软小冰

[智能硬件] 苹果将会在今年上半年推出AirPods 2,支持健康监测功能

苹果将会在今年上半年推出AirPods 2,支持健康监测功能

苹果将会在今年上半年推出AirPods 2。报道指出,全新的产品将会重新设计,以使得新一代产品支持健康监测功能。......

关键字:苹果 AirPods 2 健康监测功能

[高端访谈] 21ic 2018年度专题采访——Maxim Integrated

21ic 2018年度专题采访——Maxim Integrated

作为众多互联网及软件巨头企业数据中心光模块的主流方案供应商,Maxim的100G单模光模块方案目前在全球市场占据了最高份额。......

关键字:美信半导体 Maxim 边缘计算 AI

[智能硬件] 三星接二连三收购,为寻找存储产业以外的增长点?

三星接二连三收购,为寻找存储产业以外的增长点?

业内人士称,三星接二连三的进行投资,就是要在存储产业以外寻找新的增长点。 ......

关键字:三星 存储 5G AI

[单片机新闻] 华为已拥有ARMv8永久授权,可完全自主设计ARM处理器

华为已拥有ARMv8永久授权,可完全自主设计ARM处理器

网上热议的一个问题就是华为的麒麟处理器,它使用了ARM的指令集,如果被禁用了,华为的ARM处理器会怎样?这个问题几无可能发生,不过华为已经获得了ARMv8的永久授权,可完全自主设计ARM处理器。......

关键字:华为 ARMv8 麒麟处理器

我 要 评 论

网友评论

芯闻号

热门关键词

技术子站

更多

项目外包

更多

推荐博客