当前位置:首页 > 智能硬件 > 智能硬件
[导读]边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

●有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

●有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

●有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

 

 

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

 

 

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

HCL INT8量化计算精度变化

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下

Tengine + HCL,不同人群的量身定制

Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

作为英特尔首个神经元数量达到11.5亿的神经拟态系统,Hala Point为更高效、规模更大的AI开辟了道路。

关键字: 神经拟态系统 AI 深度学习模型

基于大语言模型研发的品牌定制化AI客服解决方案,获得业界高度认可 上海2024年4月16日 /美通社/ -- transcosmos集团(中文名:大宇宙集团;以下简称:transcosmos)于2024年4月11日在C...

关键字: TRANS TI COSMOS AI

近日,Arm推出了Arm® Ethos™-U85神经网络处理器(NPU)和Arm Corstone™-320物联网参考设计平台,旨在满足海量的数据处理和大规模计算,加速推进边缘AI的发展进程。

关键字: ARM

全新Balletto™系列无线MCU基于Alif Semiconductor先进的MCU架构,该架构具有DSP加速和专用NPU,可快速且低功耗地执行AI/ML工作负载

关键字: 处理器 微控制器 AI

业内消息,近日京东集团创始人、董事会主席刘强东以“采销东哥”AI 数字人开启直播首秀,同时亮相京东家电家居、京东超市采销直播间,不到1小时直播间观看量超2000万,并创造京东超市采销直播间开播以来观看人数的最高峰。

关键字: 京东 AI 数字人 刘强东 直播

回看历史,人工智能总会时不时爆发一次,然后又归于沉寂。

关键字: AI OpenAI AGI 通用人工智能

机器人操作系统(ROS)驱动程序基于ADI产品而开发,因此可直接在ROS生态系统中使用这些产品。本文将概述如何在应用、产品和系统(例如,自主导航、安全气泡地图和数据收集机器人)中使用和集成这些驱动程序;以及这样将如何有助...

关键字: 电机控制器 机器人 嵌入式

4月17日消息,斯坦福大学近日发布《2024年AI指数报告》(AI Index Report 2024),凭借AI在大规模胰腺癌早筛上的创新突破,阿里达摩院(湖畔实验室)医疗AI入选科学与医疗领域的年度亮点研究(High...

关键字: AI 人工智能 集成电路

4月17日消息,近日微软硬件设计领域的重量级人物、Surface设计团队负责人Ralf Groene在领英上发帖宣布退休。

关键字: 微软 AI 机器AI 比尔盖茨

上海2024年4月16日 /美通社/ -- 4月11日,中智《百川汇流 央地融通,全力以赴加快五个中心建设》主题大会在上海成功举办,本次大会由上海市经信委和上海市国资委指导、中智经济技术合作股份有限公司和中智管理咨询有限...

关键字: AI 电气 人工智能 半导体
关闭
关闭