当前位置:首页 > 原创 > 刘岩轩
[导读]时间来到2023年,ST在中国召开了其首届传感器大会,支持本地端的AI计算的智能传感器成为了本次大会的焦点。在开幕演讲上,意法半导体副总裁·中国区总经理曹志平表示,我们的生活经历了从off-line到on-line的变革,以及从on-line到on-life发展,目前迈入Sustainable Onlife阶段,具备AI能力的传感器将会是构建永久在线的、虚拟交融的可持续生活的关键。

2019年ST就推出了集成自家ML内核的传感器,这在当时确实是业界首款。而这款产品并不是ST的浅尝辄止,而是开启了其在AI传感器上的完整生态布局。

时间来到2023年,ST在中国召开了其首届传感器大会,支持本地端的AI计算的智能传感器成为了本次大会的焦点。在开幕演讲上,意法半导体副总裁·中国区总经理曹志平表示,我们的生活经历了从off-line到on-line的变革,以及从on-line到on-life发展,目前迈入Sustainable Onlife阶段,具备AI能力的传感器将会是构建永久在线的、虚拟交融的可持续生活的关键。

智能传感器要具备多强的计算能力,才能实现端侧AI应用?传感器和MCU/SoC之间又该如何分配数据的处理任务?带着这些问题我们有幸采访到了ST的诸多高层。


智能传感器布局:从MLC进化到ISPU

“智能传感器必须要能够实现独立的决策——通过它收集到的一些数据,能够不依赖微控制器(不管是节点级别的次微控制器,还是主SOC)独立做出决策。”意法半导体亚太区模拟器件、MEMS和传感器产品部 (AMS) MEMS及影像传感器子产品部市场及应用副总裁、智能手机创新中心负责人Davide BRUNO表示,“所以就ST本身而言,现在正在努力让传感器(不管是运动传感器、加速记仪,还是影像传感器方面)最终能够根据自己收集和感知到的数据做出独立的决策,并自动采取干预行为,从而得到预期的效果。”

通常在一个端侧系统中,会需要用到传感器、MCU和其他一些连接的功能。传感器负责采集真实物理世界的信号以及人体的相关信息,然后负责将数据传递到MCU中进行计算。MCU通过对于数据的计算分析,然后产出控制信号给到执行机构。在这其中,复杂的数据运算可能需要上传到云端进行处理和记录。

而ST在2019年推出的MLC(Machine Learning Core),则是在传感器内增加一个可重新配置的单元,被称为rPU。该rPU可以通过寄存器重新配置,能够运行一些简单的AI模型。其中FSM是用于设计逻辑连接的数学抽象。它是由有限数量的状态和状态之间的转换组成的行为模型,类似于流程图,可以在流程图中检查满足某些条件时逻辑的运行方式。FSM允许可以将一些算法从应用处理器转移到传感器中运行,从而持续降低功耗。

而在传感器峰会上,我们听到了一个更新的产品类型叫做——ISPU,即Intelligent Sensor Processing Unit。据了解,ISPU其实是早在2022年初就已经发布,这是一款内置了DSP的IMU产品,ISPU是集成在传感器的ASIC中的一个专门用于机器学习和处理器的DSP,可采用专用指令集进行编程,能够运行1位NN精度的AI算法。Davide表示,ISPU能够在边缘自动分析处理数据,并根据特定应用的需求,采取干预行为,并确保所需的精确度,从而让终端应用变得更为丰富。而这一理念可以从IMU延伸到ST所有类型的MEMS和imaging传感器当中。

意法半导体MEMS传感器产品市场经理Francesco BIANCHI表示,ISPU是意法半导体跨向人工智能领域的最大一步。目前,可以通过ISPU来帮助客户实现在他们自己的神经网络端,以及包括在他们自己的人工智能算法上的解决方案的打造。


数据分区处理,带来系统能效提升

通过在传感器中集成NN单元,像ISPU这样的产品,可以让用户的数据做到分区处理:在传感器上运行特定级别的一些数据的处理,比如说一些比较简单的或者是中等难度的数据处理;并将比较复杂的算法和比较密集强度的一些问题,留给MCU进行处理。

因为传感器上的AI算力增强而实现的这种数据分区处理,能够大大提升整个端侧系统的能效。

Francesco表示,如果从传统的系统优化的角度来说,大家都认为传感器本身就是一个低功耗的产品,是整体技术架构里面低功耗的一个部分。而对于MCU微控制器来说,因为它要进行大量数据的处理,所以它处理数据数量的高低,直接决定了它的功耗的多少。如果我们能够让一些原始数据实现本地(传感器侧)的处理,就可以帮助为微控制器留出更多的空间来进行复杂任务的处理。这是可以帮助进一步地优化系统及整体的功耗的。“更多原始数据的处理,都可以在ISPU实现本地完成。这样就能够提供更多的信息,提供更多的原数据,帮助我们和客户通过数据的方式执行更多的任务。通过这样的方法,可以帮助客户实现其解决方案极大的系统化的升级和优化。”

此外,数据分区处理还可以提高安全等级。因为通过传感器所收集到的大部分数据都是原始数据,如果采用传统意义的传感器,这些数据可能会放到云端,或者是放到应用端去进行处理。因此,这些数据如果保护不好,就会出现外泄并为第三方所获取。但如果传感器本身就能够实现对数据的一些处理的话,它就帮助降低了数据外泄的可能性。

正如Davide所讲到的,智能传感器的概念并不仅仅局限在MEMS传感器、IMU类型的传感器上,而是也贯穿到了Imagining的传感器产品布局中。意法半导体影像传感器总监Marc VASSEUR就强调到,ST的Imagine传感器可以在计算数据之间实现有效的平衡。

影像传感器的原始数据量非常庞大,要基于其进行算法开发需要花费巨大的时间——很多可供终端用户使用的算法需要花2年以上的开发时间。“所以,我们提供的算法之所以能够为客户所使用,是要确保当我们在数据处理的分区的过程当中,特别是在图像处理的过程当中,我们非常接近这个层级数据的采集,确保我们的传感器能实现有效的数据的收集,数据的处理和数据的存储。”Marc分享到。


超级传感器的融合之力,赋能未来应用

传感器除了智能化外,也存在着融合的趋势,通过多种传感器融合,一方面可以实现系统中更好的BOM和面积优化,另一方面还可以带来安全冗余的特性。Francesco将这种融合的传感器称为超级传感器:“对于任何的应用来说,如果想进一步提升它的性能,都可以考虑使用这样的多传感器融合之后的超级传感器。我们之所以称之为超级传感器。”

除了ISPU外,ST在此次传感器峰会上还介绍了一个独具特色的模块——vAFE。该类器件是在MEMS传感器上增加了一个模拟前端,从而实现了机电感知+模拟感知技术的融合。Francesco表示,通过vAFE,客户就能够有效地连接到MEMS传感器,从而能够更好地使用其内部的处理逻辑,能够更好地嫁接和外部任何的模拟器件之间的联系。

据了解,vAFE提供的信号和运动传感器的信号本质上是同步的,所以可以在传感器的边缘完成独特的上下文感知分析,从而实现低功耗和最小可能的延迟。这也同样契合ST的智能传感器的概念。集成了vAFE的产品,在体积上更具优势,非常适用于TWS耳机等可穿戴设备的应用。

传感器融合的技术和强大的AI算力结合,能够赋能诸多的新兴终端产品形态。例如针对折叠屏手机,ST就将陀螺仪和加速度计的数据相结合,然后在传感器的算法中进行融合,进而可以持续跟踪精确的屏幕开合角度、速度和位移等信息的判断。这一专利技术基于LID系列的产品,因此被称为LID角度解决方案。

Francesco表示,ST在三年前就已经开始投入在这一专利技术的研发中,目前已经进一步推出了新的传感器产品,可以支持多屏和折叠屏上的数据的传感收集和处理。

同时Francesco也表示,多传感器融合的超级传感器可以适用于多种新兴的应用,这不仅包括折叠屏手机,也包括新一代笔记本电脑等。而在XR设备上,超级传感器可以为用户呈现出一些混合现实的影像和效果;而在汽车应用上,这一技术也早就广泛使用,通过多个高精度传感器的数据进行融合,从而形成超级传感器来进一步赋能ADAS的性能。


结语

此次在北京召开的ST传感器峰会,是ST首次在中国召开的、以传感器为主题的大型峰会活动。而我们透过ST的分享,观察到了传感器技术的趋势变化。传感器已经不再是单纯的一个感知器件,而是在追求精准感知的基础上,延展出更多的和AI相关的计算、融合的功能。在端侧AI的浪潮中,传感器在系统优化层面上,可以提供更多的数据处理的价值,助力未来真正的“可持续的、虚实交融的生活”。

声明:该篇文章为本站原创,未经授权不予转载,侵权必究。
换一批
延伸阅读

在科技迅猛发展的今天,人工智能(AI)已经从一个前沿概念转变为全球范围内的热门话题,深刻影响着我们的日常生活、工作和思维方式。本文将对当前人工智能的现状进行深入分析,从技术发展、应用领域、市场竞争以及挑战与机遇等多个维度...

关键字: 人工智能 AI

在科技的浪潮中,人工智能(AI)已经从一个遥不可及的概念,逐渐转变为影响我们日常生活的现实力量。无论是语音识别、图像识别,还是自动驾驶、医疗诊断,人工智能都展现出了强大的潜力和无限的可能性。那么,未来的人工智能发展前景又...

关键字: 人工智能 AI

在AI需求暴增、5G升级周期和汽车智能电动化等因素的推动下,全球电子市场进入新一轮的增长期,尤其是在通信电子、消费电子和汽车电子等领域。需求增长促使上游产能升级的同时,也带来了制造和设计上更严格的标准,各种电子零部件可以...

关键字: AI 服务器 5G

4月21日消息,Meta发布超级彪悍的大语言模型Llama 3之后,微软也很快推出了自己的新一代WizardLM2 8x22B,号称迄今最强大,完全超越Claude 3 Opus&Sonnet、GPT-4等竞品,而且开源...

关键字: 微软 AI 机器AI 比尔盖茨

4月22日消息,中国第一季度半导体产量激增40%,标志着成熟制程芯片在中国市场的主导地位日益巩固。

关键字: 半导体 传感器 人工智能 电动汽车

近日,华为又一旗舰之作HUAWEI Pura 70系列带来了众多AI智慧体验,通过创新的影像编辑能力,专业的美肤顾问,全能的私人助理,将AI优势融入用户生活的每个瞬间。

关键字: 华为 AI

在科技日新月异的今天,传感器技术作为现代工业、汽车、航空航天等领域的关键组成部分,发挥着越来越重要的作用。其中,电子叻力角度传感器以其独特的结构和性能,成为众多应用场景下的理想选择。本文将深入剖析电子叻力角度传感器的结构...

关键字: 电子叻力角度传感器 传感器

随着农业科技的不断进步,氮磷钾传感器作为一种现代化的农业生产工具,正逐渐走进广大农户的视野。它能够实时测量土壤中的氮、磷、钾元素含量,为农民施肥提供科学依据,从而避免不必要的浪费,减少环境污染,提高施肥的精准度。然而,关...

关键字: 氮磷钾传感器 传感器

空气压力传感器将是下述内容的主要介绍对象,通过这篇文章,小编希望大家可以对空气压力传感器的相关情况以及信息有所认识和了解,详细内容如下。

关键字: 传感器 压力传感器 空气压力传感器

作为英特尔首个神经元数量达到11.5亿的神经拟态系统,Hala Point为更高效、规模更大的AI开辟了道路。

关键字: 神经拟态系统 AI 深度学习模型
关闭