首页 > 物联网 > 网络层 > 传感网
[导读]目前,在许多需要在本地进行数据分析的“永远在线”的物联网边缘设备中,神经网络正在变得越来越普及,主要是因为可以有效地同时减少数据传输导致的延时和功耗。

目前,在许多需要在本地进行数据分析的“永远在线”的物联网边缘设备中,神经网络正在变得越来越普及,主要是因为可以有效地同时减少数据传输导致的延时和功耗。 而谈到针对物联网边缘设备上的神经网络,我们自然会想到Arm Cortex-M系列处理器内核,那么如果您想要强化它的性能并且减少内存消耗,CMSIS-NN就是您最好的选择。基于CMSIS-NN内核的神经网络推理运算,对于运行时间/吞吐量将会有4.6X的提升,而对于能效将有4.9X的提升。

CMSIS-NN库包含两个部分: NNFunction和NNSupportFunctions。 NNFunction包含实现通常神经网络层类型的函数,比如卷积(convolution),深度可分离卷积(depthwise separable convolution),全连接(即内积inner-product), 池化(pooling)和激活(activation)这些函数被应用程序代码用来实现神经网络推理应用。 内核API也保持简单,因此可以轻松地重定向到任何机器学习框架。NNSupport函数包括不同的实用函数,如NNFunctions中使用的数据转换和激活功能表。 这些实用函数也可以被应用代码用来构造更复杂的NN模块,例如, 长期短时记忆(LSTM)或门控循环单元(GRU)。

对于某些内核(例如全连接和卷积),会使用到不同版本的内核函数。 我们提供了一个基本的版本,可以为任何图层参数“按原样”通用。 我们还部署了其他版本,包括进一步的优化技术,但会对输入进行转换或对层参数有一些限制。 理想情况下,可以使用简单的脚本来分析网络拓扑,并自动确定要使用的相应函数。

我们在卷积神经网络(CNN)上测试了CMSIS-NN内核,在CIFAR-10数据集上进行训练,包括60,000个32x32彩色图像,分为10个输出类。 网络拓扑结构基于Caffe中提供的内置示例,具有三个卷积层和一个完全连接层。 下表显示了使用CMSIS-NN内核的层参数和详细运行时结果。 测试在运行频率为216 MHz的ARM Cortex-M7内核STMichelectronics NUCLEO-F746ZG mbed开发板上进行。

整个图像分类每张图像大约需要99.1毫秒(相当于每秒10.1张图像)。 运行此网络的CPU的计算吞吐量约为每秒249 MOps。 预量化的网络在CIFAR-10测试集上达到了80.3%的精度。 在ARM Cortex-M7内核上运行的8位量化网络达到了79.9%的精度。 使用CMSIS-NN内核的最大内存占用空间为〜133 KB,其中使用局部im2col来实现卷积以节省内存,然后进行矩阵乘法。 没有使用局部im2col的内存占用将是〜332 KB,这样的话神经网络将无法在板上运行。

为了量化CMSIS-NN内核相对于现有解决方案的好处,我们还使用一维卷积函数(来自CMSIS-DSP的arm_conv),类似Caffe的pooling和ReLU来实现了一个基准版本。 对于CNN应用,下表总结了基准函数和CMSIS-NN内核的比较结果。 CMSIS-NN内核的运行时间/吞吐量比基准函数提高2.6至5.4倍。 能效提高也与吞吐量的提高相一致。

高效的NN内核是充分发挥ARM Cortex-M CPU能力的关键。 CMSIS-NN提供了优化的函数来加速关键的NN层,如卷积,池化和激活。 此外,非常关键的是CMSIS-NN还有助于减少对于内存有限的微控制器而言至关重要的内存占用。 更多细节在我们的白皮书中您可以读到,您可以使用下面的按钮从康奈尔大学图书馆网站下载。

应用 代码可以直接使用这些内核来实现Arm Cortex-M CPU上的神经网络算法。 或者,这些内核可以被机器学习框架用作原语函数(primitives)来部署训练过的模型。

换一批

延伸阅读

[工业控制] 我国智能制造产业高速发展,2018数字化工厂占比63%

我国智能制造产业高速发展,2018数字化工厂占比63%

智能制造是以制造环节的智能化为核心,以端到端数据流为基础,以数字作为核心期驱动力,也正因为大数据在智能制造中的重要性,所以数字化工厂成为了企业列为智能制造部署的首要任务。 ......

关键字:智能制造 数字化工厂 工业物联网

[通信技术] 高通推出下一代物联网专用调制解调器9205,功耗大降70%

高通推出下一代物联网专用调制解调器9205,功耗大降70%

高通推出下一代物联网专用调制解调器9205,比上一代9206的功耗降低70%,尺寸降低50%。......

关键字:高通 物联网 调制解调器9205

[传感网] 贸泽电子宣布与Sigfox签订全球分销协议

贸泽电子宣布与Sigfox签订全球分销协议

贸泽电子 (Mouser Electronics)宣布与全球知名的物联网 (IoT) 服务提供商Sigfox签订了全球分销协议。即日起贸泽将提供Sigfox的Sens’it Discovery 解决方案和SDR加密狗。 ......

关键字:贸泽电子 Sigfox 物联网

[通信技术] 刁石京、楚庆联手掌舵展锐,紫光重拳开启5G时代

刁石京、楚庆联手掌舵展锐,紫光重拳开启5G时代

紫光集团宣布由紫光集团联席总裁刁石京任紫光展锐副董事长及 CEO,与联席CEO楚庆一起开启紫光展锐“腾跃”战略的新篇章。紫光集团同时还宣布了调整后拥有“豪华”阵容的董事会,以及30亿增资展锐等重大举措。此次宣布标志着紫光展锐在完成展讯和锐迪......

关键字:紫光 5G 物联网

[通信技术] 通过LPWAN联接满足物联网需求

通过LPWAN联接满足物联网需求

互联是物联网的一个基本组成部分,并使能和支持智能城市、工业4.0、家庭自动化和自动驾驶等趋势。无线技术现在是一种常见的互联形式,虽然可能很难说无线联接比有线联接更多,但很难否认它是联接新设备的首选方式。这在更广泛的物联网中尤为重要,因为许多......

关键字:LPWAN联接 物联网 无线协议

[通信技术] 中国移动规模发展新突破!4G、宽带、物联网均已成全球规模最大

中国移动规模发展新突破!4G、宽带、物联网均已成全球规模最大

2018年中国移动规模发展实现新突破,4G规模全球最大,4G客户超7亿,基站超200万个;固网宽带规模全球最大,宽带客户超1.5亿,宽带电视超9000万;物联网连接数全球最多,物联网连接数超5亿。......

关键字:中国移动 5G 宽带 物联网

[智能家居] 贸泽电子发布关于家庭自动化的电子书 作为万物互联物联网系列的开篇

贸泽电子发布关于家庭自动化的电子书  作为万物互联物联网系列的开篇

贸泽电子 (Mouser Electronics) 今天发布了关于家庭自动化的电子书,这是贸泽屡获殊荣的Empowering Innovation Together™(共求创新)计划最新推出的万物互联物联网系列的第一本书。 ......

关键字:贸泽电子 家庭自动化 万物互联 物联网

我 要 评 论

网友评论

芯闻号

技术子站

更多

项目外包

更多

推荐博客