当前位置：首页 > 嵌入式视觉
  • 贸泽电子与嵌入式视觉知名供应商FRAMOS签订全球分销协议

    贸泽电子与嵌入式视觉知名供应商FRAMOS签订全球分销协议

    2020年9月17日 – 专注于引入新品的全球电子元器件授权分销商贸泽电子 (Mouser Electronics) 与成像和嵌入式视觉技术的知名制造商FRAMOS签订了全球分销协议，向全球客户提供传感器模块和处理器适配器产品。借助于FRAMOS生态系统丰富的传感器模块、适配器和附件以及开发套件，视觉工程师和开发人员可以在开放式处理器平台上评估和集成许多不同的图像传感器，快速进行概念验证，并根据具体需求进行系统开发。 FRAMOS传感器模块 (FSM) 借助于标准化连接器和机械装置实现了全模块化设计，让用户能够将最新的图像传感器技术无缝地集成到通用处理平台上。该系列具有卷帘快门和全局快门两种选择，以及0.4MP到24MP的分辨率。贸泽备货的此系列小型模块外形尺寸为26.5 mm×26.5 mm，并具备本机MIPI CSI-2传感器。 FRAMOS适配器与配件包含处理传感器以及传输信号并将其转换为处理器开发板所需格式的所有外设。FRAMOS传感器适配器 (FSA) 堆叠在FSM上，确保了所有特定应用都可以采用灵活的模块化设计。FSA具有基准时钟、电源轨和处理功能，以及让成像仪实现无缝互连的标准连接。此系列产品不仅可以实现高灵活性、低冗余度和高性能，并且还随附了支持定制化单板集成所需的所有设计文档。FRAMOS处理器适配器 (FPA) 板为FRAMOS EV生态系统中的多个第三方图像处理板提供模块化适配。 FRAMOS传感器模块开发套件可同时连接多达四个FSM，它还具有预装配的FSM/FSA(带透镜支架和M12透镜)、三脚架适配器，以及连接NVIDIA® Jetson™硬件产品和其他第三方开发板所需的所有适配器。设备驱动程序和带有源代码的示例应用程序组成了一个最小的环境，便于控制传感器并将图像直接流式传输到用户应用程序，便于客户以极低的成本快速创建独特的应用。此系列套件还包括一根连接FSA和FPA的150 mm链式软电缆，让工程师能够使用FSM和现有第三方处理器开发工具套件快速开始和进行开发工作。

    时间：2020-09-17 关键词： 贸泽电子 嵌入式视觉 全球分销协议

  • 安富利推出96Boards ON Semiconductor双摄像头夹层卡 加快原型创建

    中国北京 - Media OutReach - 2020年9月16日 - 全球领先的技术解决方案提供商安富利日前推出了96Boards ON Semiconductor双摄像头夹层卡开发和原型创建平台。该平台适用于与双摄像头模块搭配使用的AP1302图像处理器，能够帮助设计和系统工程师利用行业标准技术创建经济、高效的嵌入式视觉应用。 该夹层卡中标配的两个成像接入系统(IAS)相机模块，采用了安森美半导体的AR0144单色数字图像传感器。AR0144是一个一百万像素的MIPI接口传感器(1028x800分辨率)，能够在全分辨率下以每秒60帧的速率运行。其创新的全局快门像素设计业已经过优化，可准确、快速地捕捉运动场景，同时生成高清的数字图像。这种捕捉清晰图像的能力对于扫描、工业检测和无人机导航等应用至关重要。 通过使用96Boards标准，该夹层卡能够利用赛灵思Ultra96-V2平台的许多功能轻松实现低延迟的视觉系统原型设计。 安富利产品与新兴技术副总裁Jim Beneke表示："这款原型创建平台是专门为设计工程师、系统工程师和供应商创建的，旨在帮助他们聚焦物联网视觉、人工智能和计算机成像等应用。它简化了使用图像传感器开发应用的复杂过程。此外，安富利还为该夹层卡搭配了Ultra96-V2开发板，能够为用户提供一个具有出色性能和高性价比的人工智能视觉平台。" 该平台采用MIPI接口和摄像头串行接口(CSI2), 这些都是MIPI联盟制定的接口规范。MIPI-CSI2规范定义了标准的图像传感器、ISP(图像信号处理器)和主机处理器之间的接口，被广泛应用于绝大多数嵌入式系统中图像传感器的高速通信输出。 安森美半导体的API 1302图像协处理器可以在平台内执行图像处理功能，包括传感器的旋转、配置和校准。这些处理功能还有助于减少开发嵌入式相机系统的设计工作。AP1302采用MIPI-CSI2通道连接传感器和主机处理器。 安森美半导体的IAS图像传感器模块接口有助于： · 简化摄像头系统设计：单一的标准化接口有助于将成像模块快速连接至信号处理板(processing board)，例如96Boards夹层卡 · 缩短产品的研发周期：该解决方案通过采用低接触服务设计来缩短产品的上市时间 · 降低学习曲线：IAS是即插即用的解决方案，不需要事先学习成像系统的专业知识 采用标准化IAS接口的目的是，希望帮助任何一位嵌入式视觉系统设计师或开发板设计师访问所有兼容的图像传感器模块。 安森美半导体智能感知部消费类方案分部副总裁兼总经理Gianluca Colli表示："通过将唾手可得的基于安森美半导体图像传感器的IAS模块与AP1302 ISP的功能和灵活性相结合，我们让制造商能够采用业界标准的96Boards格式轻而易举地进行原型设计。" 安富利设计的96Boards ON Semiconductor双摄像头夹层卡开发和原型创建平台，搭载了两个IAS传感器模块和一个AP1302成像协处理器，现已在美洲、欧洲、亚太地区和日本上市，售价199美元。

    时间：2020-09-16 关键词： 安富利 摄像头夹层卡 嵌入式视觉

  • Irida Labs为Tensilica新的IVP图像/视频DSP提供计算机视觉应用软件

    　　美国加州SANTA CLARA和希腊PATRAS-2013年2月22日- Tensilica与IridaLabs日前共同宣布，将在Tensilica新的IVP图像/视频DSP（数字信号处理器）上移植IridaLabs计算机视觉软件包。IridaALabs已加入了Tensilica的Xtensions合作伙伴计划，凭借其丰富的计算机视觉专业背景，势必能为客户提供更好的技术支持。 　　Tensilica图像/视频部门总监GaryBrown表示：“非常欢迎IridaLabs加入Tensilica合作伙伴计划，其嵌入式视觉技术给我们留下了深刻印象，也带来很多商机，将图像处理功能负载分流到Tensilica的高性能DSP上，在低功耗的前提下获得10到20倍性能提升，必将吸引众多Irida Labs客户公司的兴趣。” 　　Irida Labs首席执行官VassilisTsagaris表示：“我们很高兴能够与Tensilica合作，为我们的嵌入式视觉技术和软件解决方案提供如此强大的平台。两家公司的合作为市场提供了高性能、低功耗的视频分析和计算机视觉解决方案。与此同时，我们也在考虑将其他软件解决方案移植到IVP平台上来。事实证明，IVP平台是实现成本效益的理想选择。” 　　IVP是一款图像和视频数据平面处理器（DPU），是手机、平板电脑、数字电视（DTV），汽车、视频游戏和计算机图像系统中复杂图像信号处理和手势识别功能的理想选择。IVP数字信号处理器具有独特的指令集用于图像和视频像素处理，相比单发射的主控CPU，IVP单条指令可以完成16个16位的像素操作。其复合指令带来了10-20倍的性能提升以及更低的功耗。IVP拥有超过300条图像/视频专用向量指令，每个周期可以完成32个或更多的16位像素处理操作。 　　关于Irida Labs公司 　　Irida Labs是一家领先的独立平台嵌入式计算机视觉技术软件和硅知识产权（IP）供应商。产品包括嵌入式计算机视觉软件和高数据吞吐量的硬件IP，应用于消费电子、移动设备和汽车市场中实现视频稳定、人脸检测与识别、低照度图像增强、行人检测、交通标志识别等功能。公司2007年底成立，研发团队位于希腊，在世界各地设有销售部门。欢迎前往2013年世界移动通信大会Tensilica展台（6-D101）或访问公司网站了解更多：www.iridalabs.com。 　　关于Tensilica公司 　　Tensilica是业界领先的且经验证的可配置处理器IP供应商，已获得近200个内核的授权许可。数据处理器结合了CPU和DSP的功能，针对不同应用可以提高10到100倍的性能，Tensilica的自动化处理器设计工具能够针对应用快速定制内核，以满足其特殊的数据处理性能需求。Tensilica可配置处理器为OEM制造商及世界前十大半导体厂商中的七家广泛使用，这些产品包括移动电话、消费电子设备（包括数字电视、蓝光播放器、宽带机顶盒、数码摄像机和便携式媒体播放机）、计算机、存储、网络和通信设备。更多关于Tensilica获得专利的可配置处理器产品信息，请访问公司网站：www.tensilica.com。

    时间：2020-09-05 关键词： DSP tensilica 计算机视觉 嵌入式视觉

  • 借力嵌入视觉技术，自助泊车等专用处理器增长强劲

    借力嵌入视觉技术，自助泊车等专用处理器增长强劲

    　　引擎盖下各种应用将驱动嵌入视频增长，用于自助泊车等应用的处理器今年以及未来将强劲增长。 　　据IHS公司旗下的IMS Research，汽车引擎盖下各种应用今年将是嵌入视觉领域增长的重要驱动因素。嵌入视觉主导各种能“看”的设备，并解读来自电脑视觉软件的数据。 　　2013年用于离线警告与自助泊车等汽车引擎盖下各类应用的专用处理器营业收入，预计将达到1.51亿美元，去年及2011年分别是1.37亿与1.26亿美元。该领域在接下来的几年将继续扩张，增长率将保持在6-9%，说明嵌入视觉前景非常光明。嵌入视觉是技术方面发展最快的趋势之一。到2016年，引擎盖下应用的专用处理器营业收入预计将达到1.87亿美元，如图4所示，六年复合年度增长率相当于8.2%。 　　 　　图：全球引擎盖下应用的专用处理器营业收入预测 （以百万美元计） 　　嵌入视觉使得机器能够通过视觉手段来理解所处环境，把高性能图像增强应用处理器、数字信号处理器和现场可编程门阵列与电脑视觉软件结合在一起。虽然图像传感器已经出现相当长的时间，但这类传感器如果没有高级处理器帮助解读图像，就不能“看”。只有把传感与解读图像结合起来，才能形成视觉，而强大的低成本处理器的出现，给范围广泛的嵌入系统获得视觉能力创造了可能性。 　　汽车与工厂自动化系统是关键市场 　　汽车视觉系统是已形成的嵌入视觉市场之一。在汽车视觉系统领域，目前趋势是嵌入解决方案多个小市场并立的局面正在改变，正在形成一个日益扩张的综合智能市场，同时在开发智能水平更高的新应用。较旧的应用模式可能采用许多处理器和摄像头来管理各种不同的单个性能需求和解决方案，而综合视觉系统则采用多核高性能处理器，使用的摄像头数量大幅减少，是更加复杂和紧凑的解决方案。 　　嵌入视觉已应用于汽车视觉应用之中，比如离线警告、避撞、自助泊车和盲点警告。这方面的总体有效市场非常庞大，2016年可能会有9470万辆轻型汽车安装这类系统，而2011年是7110万辆。 　　嵌入视觉也用于多种工业安全应用之中，这是驱动该领域增长的另一个强大力量。 　　例如，在工厂自动化方面，应用包括智能视觉传感器、机器视觉摄像头和紧凑视觉系统。到2016年，机器视觉硬件出货量可能达到610万个，而2011年是330万个。 　　嵌入视觉其它两个成形市场在于视频内容分析系统，这方面的网络监控硬件出货量2016年可能达到3870万个，高于2011年的1120万个；军事航空，军用级应用使用的处理器预计2016年达到9200万个，高于2011年的8350万个。 　　在一些新兴领域，嵌入视觉也在增长 　　除了已成形市场以外，嵌入视觉在手势识别、增强现实与数字标识等发展中领域也在不断增长。这些市场还不太成熟，但三到六年内很有可能变成确定的市场。例如，在手势识别与增强现实应用中，嵌入视觉可以用于游戏系统、智能手机、相机与摄像机。在数字标识应用中，嵌入视觉可以用于能够根据视频内容分析来进行针对性营销的商业标识。 　　嵌入视觉的第三个市场领域在于新兴市场，从较长期来看，比如七到10年，这些市场预计会显露机会。这些新兴市场包括面部识别，比如自动取款机进行身份验证；运输，比如自我引导汽车与智能基础设施；医疗，根据视觉进行病人监控与互动。 　　IHS公司认为，随着嵌入视觉技术不断发展，各类新型应用的市场也会不断扩大。电脑视觉与嵌入应用之间的协调将持续发展，嵌入视觉将找到新的应用，全新的视觉应用也会浮现。 　　嵌入视觉等颠覆性技术，通常源自应用与硬件的融合。但这些技术如何以及何时才能进入新的应用领域，需要全面的综合观察。否则人们怎么能预言电脑视频应用会与手机处理器相结合，让汽车能“看见”呢？ 　　更多相关内容： 　　飞思卡尔多摄像头全景泊车辅助系统与ADAS产品 　　赛灵思ADAS行业领先方案：XA Zynq-7000 All Programmable SoC 　　德州仪器（TI）的车用视觉控制解决方案 　　赛灵思：汽车驾驶员辅助系统之利用FPGA的处理能力 　　汽车电子：全景泊车系统 　　全新汽车摄像头向驾驶员提供无扭曲倒车辅助影像  

    时间：2020-09-04 关键词： 传感器 工业自动化 机器视觉 专用处理器 嵌入式视觉

  • 嵌入式视觉的发展趋势及其算法示例

    嵌入式视觉的发展趋势及其算法示例

    在这篇文章中，前赛灵思机器视觉市场战略总监Aaron Behman 针对嵌入式视觉方面的问题进行了介绍，并解读了赛灵思 All Programmable Zynq® SoC 的独特解决方案。希望能为读者了解该领域的问题有所帮助。   一、嵌入式视觉四大普遍趋势 嵌入式视觉可划分为两个高级类别；感知环境和采取行动。视觉导向的机器人和无人机属于后面的采取行动类。 在民用领域，目前无人机是商业、医疗、农业、广播和执法应用中最热门的话题之一。对许多这样的应用，无人机可提供显著的优势。在广播和执法领域，无人机能够以低得多的成本提供之前需要直升机才能提供的能力。无人机还能执行预订服务，例如即将推出的 Amazon Prime 交货服务，或者如乌干达偏远地区的医疗产品交货服务。在农业应用中，无人机能使用高光谱成像来判断作物的健康状况。而这些应用，只不过是目前已经在使用或正在考虑使用无人机技术应用的冰山一角。 农业无人机应用示例 这些应用，综合起来体现着我们在嵌入式视觉总体环境中观察到的嵌入式视觉当前四大普遍趋势中的三大趋势： 1、边缘（edge）端通过机器学习获得的智能化 – 智能化嵌入在无人机本身内部，需要从它的摄像头提取信息并根据该信息采取行动，达成自己的目标。 2、开放式高级语言和框架 – 在无人机中实现智能化需要高级框架和语言。这些中最常用的是开源多平台框架，比如嵌入式环境里的 OpenCV、OpenVX，以及在机器学习环境里的 Tensor Flow 和 Caffe。 3、多层次的安全性 – 用于确保无人机不仅能够运行，且不能影响安全性和信息获取。这种方法要求在器件、系统和网络层面实现多层次的安全性。 第四个趋势是嵌入式视觉的普及化。虽然视觉导向的机器人和无人机还不像我们的手机一样普及——我们常在旅行中用手机来翻译标牌等用途，随着新用例被发掘出来，使用视觉导向的机器人和无人机的应用正处于快速发展中。 在架构层面无人机拥有一些关键的子系统，包括实时精准的马达控制系统、提供与无人机双向通信的软件无线电和精确的嵌入式视觉系统。视觉导向的机器人和无人机主要针对大部分电池供电的应用，因此设计高能效解决方案的能力极为重要。 高精度嵌入式视觉系统提供高帧率，其处理图像和根据图像采取行动的能力要远超过人眼。对许多应用来说，需要使用多个摄像头来形成立体多视觉，以完整掌握无人机周边环境。这也称为传感器融合。虽然许多应用使用多摄像头方法来观察环境，部分应用还会把设计用于观测电磁场频谱不同组成部分的摄像头结合起来使用，例如在超光谱或红外应用中的情况。在使用多个相同类型传感器的时候这一般称为同构，在使用不同传感器技术的时候称为异构。 在算法层面，这种高精度嵌入式视觉系统运行的算法有同步定位与地图构建（SLAM）和稠密光流（Dense OpTIcal Flow），以为平台提供增强型感知和避障系统。这些算法还与更传统的模式和对象识别算法结合。 稠密光流设计 视觉导向的机器人和无人机因此不仅需要强大的处理能力，还需要有能力进行功耗优化，提供面向未来且具有可扩展性的解决方案。 All Programmable Zynq® SoC 可针对您面临的问题提供独特的解决方案。Zynq 提供的高性能逻辑，与双核 ARM® A9 处理器集成可打造出紧密集成的异构处理单元。该异构处理单元能够在处理器内或可编程逻辑内实现高效率的功能细分。 使用基于 ARM 的处理系统，可以在边缘开展极为复杂的实时视觉分析。在与可编程逻辑架构结合后，它提供实时检测对象然后使用处理器系统分类对象的能力。分类完成后，视觉导向机器人系统或无人机就能针对检测出的对象类采取适当的行动。 为在边缘实现实时视觉分析，我们运用了机器学习提供的智能化技术。要执行这些算法，我们首先需要模型并提供大型培训数据集，使模型能够进行分析。在极高性能工作站上进行培训，得到的分类器被用于实现方案中。开展这类机器学习有多种不同的方法可供选择，例如卷积神经网络、深度神经网络或递归神经网络。 当我们在边缘实现这些模型时，我们不需要与培训相同水平的性能。可以使用整数或浮点数学，两者都能方便地实现在 All Programmable SoC 中。

    时间：2020-08-06 关键词： 嵌入式视觉

  • 如何解决嵌入式视觉系统所面临的挑战？

    美国莱斯大学的研究人员开发出一种新型装置，可利用快速流动的液体将柔韧的导电碳纳米管纤维插入大脑，以帮助记录神经元活动，这种基于微流体的技术有望改善通过电极感知神经元信号的治疗方法，为癫痫病及其他疾病患者带来福音。研究人员认为，基于纳米管的电极最终将帮助科学家发现认知过程背后的机制，并与大脑建立直接互动界面，使得患者能够看到、听到以及控制假肢。 该装置利用快速流动的液体所施加的力，将柔韧的绝缘纤维轻轻推入脑组织而不变形，而现有的利用坚硬的可降解护套将电线递送到大脑中的方法可能损害敏感的脑组织。实验室及体内实验均显示，微流体装置能够迫使粘性流体在细纤维电极周围流动，快速流动的液体缓慢地将纤维拉过小孔通向脑组织，由于电极周围的拉力分布均匀，纤维不会发生弯曲，且液体也不会通过小孔进入大脑。碳纳米管纤维能够在各个方向上传导电子，但只能在其尖端与神经元沟通，因此该团队开发出一种涂层技术包覆纳米管使其绝缘，并保持纳米管的直径在15－30微米之间，远细于人的头发。 研究人员认为该技术最终能够实现将密集排列的多个微电极送入大脑，使嵌入式植入物更安全、更容易。由于该方法在植入过程中造成的损伤较小，能够将更多的电极放入大脑中的特定区域。

    时间：2020-07-29 关键词： Xilinx 嵌入式视觉

  • 嵌入式视觉技术不再局限高度专业化的解决方案

    嵌入式视觉技术不再局限高度专业化的解决方案

    嵌入式视觉技术不再局限于高度专业化的应用，它在各类市场上拥有广阔的用武之地 十年前，嵌入式视觉技术主要用于比较少见、高度专业化的应用。今天，设计工程师们在越来越多新兴的工业、汽车和消费电子应用中为视觉应用找到了用武之地。制造商一直以来都依赖于工业应用中的机器视觉系统，但随着先进机器人技术和机器学习技术的涌现以及向工业4.0制造模式的转变，嵌入式视觉应用的疆土在逐步扩大。现代汽车采用的电子产品，尤其是高级驾驶辅助系统（ADAS）和车载信息娱乐系统的快速发展也为嵌入式视频应用带来了契机。无人机、游戏系统、监控和安防等消费电子解决方案的开发工程师看到了嵌入式视觉技术的优势。随着网络边缘应用领域对智能功能的需求不断上升，新兴的AI解决方案将越来越依赖于嵌入式视觉技术。 我们已经可以看到许多改变。首先，对于快速部署低成本嵌入式视觉解决方案而言至关重要的许多关键组件和工具终于面世了。如今，设计工程师可以从各种成本较低的处理器中进行选择，这些处理器具备小尺寸、高性能、低功耗的特性。同时，得益于快速增长的移动市场，设计工程师得以从摄像头和传感器的普及中受益。与此同时，软件和硬件工具的改进有助于简化开发并加速上市进程。本文将探讨如何使用嵌入式视觉技术、采用嵌入式视觉技术的理由以及近期哪些应用最有希望采用嵌入式视觉技术。 更强处理能力 根据定义，嵌入式视觉系统实际上涵盖了执行图像信号处理算法或视觉系统控制软件的任何设备或系统。智能视觉系统中的关键部分是进行实时高清数字视频流处理的高性能计算引擎、大容量固态存储、智能摄像头或传感器以及高级分析算法。这些系统中的处理器可以执行图像采集、镜头校正、图像预处理和分割、目标分析以及各种启发式（heurisTIcs）功能。嵌入式视觉系统设计工程师采用各种处理器，包括专为视觉应用设计的通用CPU、图象处理单元（GPU）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）和专用标准产品（ASSP）。上述处理器架构具备明显的优势和短板。在许多情况下，设计工程师将多种处理器整合到一个异构计算环境中。有时候，处理器则被集成到一个组件中。此外，一些处理器使用专用硬件来尽可能实现最高的视觉算法性能。诸如FPGA之类的可编程平台为设计工程师提供了高度并行的计算密集型应用架构以及用于I/O扩展等其他应用的资源。 在摄像头方面，嵌入式视觉系统设计工程师使用模拟摄像头和数字图像传感器。数字图像传感器通常是需要可见光环境的CCD或CMOS传感器阵列。嵌入式视觉系统也可用于感测其他数据，如红外、超声波、雷达和激光雷达。 越来越多的设计工程师开始转向采用摄像头或各种传感器的“智能摄像头”作为视觉系统中所有边缘电子设备的核心。其他系统将传感器数据传输到云端以减少系统处理器的负载，在这个过程中系统功耗、占用空间和成本降至最低。但是，当需要基于图像传感器数据进行低延迟的关键决策时，这种方法将面临问题。 利用移动优势 尽管嵌入式视觉解决方案早已面市多年，但该技术的发展速度受到了很多因素的限制。首先也是最重要的是，这项技术的关键要素仍没有能够以低成本的方式实现。特别是能够实时处理高清数字视频流的计算引擎尚未普及。高容量固态存储和高级分析算法的限制也带来了挑战。 最近市场上的三种发展趋势有望彻底改变嵌入式视觉系统的面貌。首先，移动市场的高速发展为嵌入式视觉设计工程师提供了海量的处理器可选方案，能够以低功耗提供相对较高的性能。其次，MIPI联盟推出的移动行业处理器接口（MIPI）能够为设计工程师提供替代方案，使用符合标准的硬件和软件组件来构建创新且具有成本效益的嵌入式视觉解决方案。最后，针对移动应用的低成本传感器和摄像头的激增，帮助嵌入式视觉系统设计工程师实现更好的解决方案并降低成本。 工业应用 工业应用领域中的机器视觉系统一直以来都是嵌入式视觉领域最有前景的应用方向之一。机器视觉技术是其中最成熟和数量最多的应用。它被广泛用于制造过程和质量管理应用。通常，这些应用领域中的制造商采用由一个或多个智能摄像头与处理器模块组成的紧凑型视觉系统。Transparency Market Research的分析师预测，机器视觉市场将从2014年的157亿美元增长至285亿美元（2021年）。 今天，设计工程师为这项技术找到很多潜力无限的全新应用领域。例如，图1中的机器视觉智能摄像头非常适合用于监控生产线上的制造设备。设计工程师可以使用FPGA实现图像传感器桥接，用作一个完整的摄像头图像信号处理流水线（ISP），以及提供GeVision或USB Vision等互连解决方案。 图1：机器视觉智能摄像头中的FPGA 另一个例子是基于FPGA的视频采集卡（图2），它聚合了来自多个摄像头的数据，并进行图像预处理，然后通过PCIe接口将数据发送到主处理器。 图2：视频采集卡 随着越来越多的制造商采用工业4.0模式，工业市场对视觉系统的需求也将越来越大。在这个新时代，制造商将把先进的机器人、机器学习、3D深度测绘和工业物联网（IIoT）整合到一起以提高组织和生产能力。在2011年发布的一篇题为“工业4.0--未来智能制造”的文章中首次提出，工业4.0代表了工业革命历史上的第四个阶段。2012年，工业4.0工作组向德国联邦政府提出了一套实施建议。 工业革命的第一阶段工业1.0在制造业中引入了水和蒸汽动力机械。劳动分工环境下首次出现的电力驱动批量生产技术奠定了工业2.0的基础。工业的第三个时代从采用计算机开始，初次涉足自动化领域，在装配线上用自动化机器逐渐取代人类。 今天，制造商期望工业4.0能够帮助他们实现又一次的飞跃，进一步提高生产力。在“智慧工厂”这个概念的驱动下，工业4.0将引入物理网络系统来监控智能工厂的生产过程并实现分权决策。这种模式将通过整合大数据与分析、IT与物联网融合、机器人技术的最新进展以及数字供应链的迭代发展等理念推动行业向着数字化转型。最后，通过互联网，这些物理系统将实现系统交互和人机交互，成为工业物联网（IIoT）的一部分。 一个工业4.0智慧工厂将会是什么样子？首先，它将为机器、设备、传感器和人员提供广泛的互操作性和高水平的通信能力。其次，它将具有很高的信息透明度，系统通过传感器数据创建物理世界的虚拟映射，使得信息情境化。第三，智能工厂的决策行为将高度分散，物理网络系统尽可能自主运行。第四，这些工厂将提供高水平的技术援助，系统可以帮助彼此解决问题、做出决策并帮助人类完成太难或危险的任务。几乎在所有情况下，制造商都将比以往更依赖嵌入式视觉系统。 当然，采用这种新模式的制造商也将面临诸多挑战。他们必须要开发可靠性极高和延迟极低的嵌入式视觉系统以确保物理网络通信的正常工作。工业4.0将迫使制造商保持生产过程的完整性，同时减少人为监管。当他们在部署这些新系统时会面临资深人员不足的问题。但好处远远超过了挑战。工业4.0将会大幅提升危险工作环境中工作人员的健康和安全保障。来自制造过程中各个层面的数据可帮助制造商能够更简单有效地控制其供应链。  汽车应用 鉴于汽车领域中电子应用的迅速增长，汽车市场无疑是嵌入式视觉应用最有潜力的发展领域。高级驾驶辅助系统和信息娱乐功能的推出有望快速推动相关市场的增长。Research and Markets.com的分析师预测，2016年至2021年间，ADAS市场将以10.44％的复合年增长率增长。这些应用中最常用的嵌入式视觉产品是摄像头模块。供应商要么自己开发分析工具和算法，要么采用来自外部开发工程师的第三方IP。新兴的汽车应用领域之一是驾驶员监控系统，该系统使用视觉应用追踪驾驶员头部和身体动作以进行疲劳状态识别。另一个是视觉系统，通过监测看短信或饮食等潜在的驾驶员分心因素提高车辆操作安全。 但是汽车中的视觉系统可以做的远不止是监控车内发生的事情。从2018年起，有一些国家的法规将要求新车必须配备后视摄像头，以帮助司机看到车辆后方的情况。像车道偏离预警系统这样的新应用将视频和车道检测算法结合起来，以评估汽车的位置。此外，市场需求也推动了阅读警示标志、撞击缓冲、盲点检测、自动泊车、倒车辅助等功能的发展。所有这些功能都有助于让驾驶变得更安全。 汽车视觉和传感系统的发展为实现真正的自动驾驶奠定了基础。例如，凯迪拉克将在2018年将其嵌入式视觉子系统集成到CT6轿车中，以实现业界首款解放双手的驾驶技术SuperCruise。通过不断分析驾驶员和道路情况，精确的LIDAR数据库提供道路情况，而先进的摄像头、传感器和GPS实时反应道路的动态状况细节。

    时间：2020-07-20 关键词： 图像信号处理 嵌入式视觉

  • 赛灵思宣布蝉联嵌入式视觉联盟年度最佳视觉产品奖

    赛灵思宣布蝉联嵌入式视觉联盟年度最佳视觉产品奖

    2019年06月03日，中国，北京 —— 自适应和智能计算的全球领先企业赛灵思公司（Xilinx， Inc.，（NASDAQ:XLNX））今天宣布其凭借出色的产品和方案再次荣膺一项行业炙手可热的奖项。 赛灵思 AI/软件及生态系统产品营销总监 Nick Ni（右） 从嵌入式视觉联盟创始人 Jeff Bier（左）手中接下年度最佳视觉产品奖 在不久前加州圣克拉拉城举办的 2019 嵌入式视觉峰会上，赛灵思的 AI 平台成功斩获嵌入式视觉联盟颁布的业界最佳云解决方案之“2019 年度最佳视觉产品奖”。该奖项旨在“表彰那些致力于开发和支持下一代计算机视觉产品的行业领先公司的创新之举”。这是赛灵思继去年荣膺此项大奖之后再次捧走该奖杯。 赛灵思 AI/软件及生态系统产品营销总监 Nick Ni 参加了本次颁奖仪式。 Nick Ni（右）接受嵌入式视觉联盟创始人 Jeff Bier （左）颁发的年度最佳云解决方案-视觉产品奖 赛灵思AI平台是业界首款同时针对软件，硬件优化的平台解决方案，其丰富且全面的软件环境支持在常见的标准框架（诸如 Caffe，TensorFlow 以及 MxNet 等）直接编译和量值化那些经过训练的神经网络模型，并面向在赛灵思 SoC 和 FPGA 器件上的部署和实现进行了优化。 赛灵思AI平台可以加速机器学习应用在云端和边缘应用中的部署，包括实时音视频转码，自动语音识别，以及从直播画面中实时进行物体识别和对象检测等应用。这是赛灵思连续两年蝉联该奖项，同时这也是赛灵思 AI 平台在最近 3 个月中荣获的第二个年度大奖。上次获得的奖项是在世界嵌入式应用大会 （Embedded World） 期间由《嵌入式计算设计杂志》 （Embedded Computing Design）颁布的最佳展示奖。该奖项在世界嵌入式应用大会 （Embedded World） 中得到《嵌入式计算设计杂志》 （Embedded CompuTIng Design） 的认可。

    时间：2020-06-03 关键词： 赛灵思 AI 嵌入式视觉

  • 嵌入式视觉正处在新生的阶段

    嵌入式视觉正处在新生的阶段

    众所周知，嵌入式视觉不是一个新概念;它只是定义了一个系统，其中包括一个视觉设置，在没有外部计算机的情况下控制和处理数据。它已广泛应用于工业质量控制，最为人熟悉的例子比如“智能相机”。近年源于消费类市场经济适用硬件器件的开发，相较于以往使用电脑的方案，这些器件大幅度减小了材料清单(BOM)成本和产品体积。举个例子，小型系统集成商或OEM现在能够小批量采购诸如NVIDIA Jetson的单板机或模块系统;而较大型的OEM则可以直接获得如高通骁龙(Qualcomm Snapdragon)或英特尔(Intel)Movidius Myriad 2 等图像信号处理器。在软件级方面， 市面软件库能够加快专用视觉系统的开发速度，减小配置难度， 即便是针对小批量生产。 第二个推动嵌入式视觉系统发展的变化是机器学习的出现，它使实验室中的神经网络能够接受培训，然后直接上传到处理器中，以便它能够自动识别特征，并实时做出决定。 能够提供适用于嵌入式视觉系统的解决方案，对于面向这些高增长应用的成像企业来说至关重要。图像传感器由于能够直接影响嵌入式视觉系统的效能和设计，因而在大规模引进中有重要角色，而它的主要推动因素可概括为：更小尺寸、重量、功耗和成本，英语简称为“SWaP-C”(decreasing Size, Weight, Power and Cost)。 1. 降低成本至关重要 嵌入式视觉新应用的加速推动器是满足市场需求的价格，而视觉系统成本正是实现这要求的一个主要制肘。 1.1 节省光学成本 减小视觉模块成本的第一个途径是缩小产品尺寸，原因有两个：首先是图像传感器的像素尺寸愈小，晶圆便可以制造更多的芯片;另一方面传感器可以使用更小更低成本的光学组件，二者都能够降低固有成本。例如Teledyne e2v的Emerald 5M传感器把像素尺寸减小至2.8µm，让S口(M12)镜头能够用于五百万像素全局快门传感器上，带来直接的成本节省──入门级的M12镜头的价格约为10美元， 而较大尺寸的C口或F口镜头成本是其10到20倍。所以减小尺寸是降低嵌入式视觉系统成本的有效方法。 对于图像传感器制造商来说，这种降低的光学成本对设计有另一个影响，因为一般来说，光学成本越低，传感器的入射角越不理想。因此，低成本光学需要在像素上方设计特定的位移微透镜，以补偿来自广角的畸变和聚焦光。 1.2 传感器低成本接口 除了光学优化，传感器接口的选择也间接影响视觉系统的成本。MIPI CSI-2接口是实现节约成本的最合适选择(它最初是由MIPI联盟为移动行业开发的)。它已被大多数ISP广泛采用，并已开始在工业市场采用，因为它提供了一个从NXP、Nvidia、高通公司或Intel等公司的低成本的片上系统(SOC)或模块上系统(SOM)的集成。设计一种具有MIPI CSI-2传感器接口的CMOS图像传感器，无需任何中间转换器桥，直接将图像传感器的数据传输到嵌入式系统的主机SOC或SOM，从而节省了成本和PCB空间，当然，在基于多传感器的嵌入式系统(如360度全景系统)中，这一优势更为突出。 不过这些好处受到一些限制，因为MIPI接口的连接距离限制为20cm，这在传感器距离主机处理器较远的远程设置中可能不是最佳的。在这些配置中，以牺牲小型化为代价，使用集成更长接口的相机板解决方案是比较好的选择。一些现成的解决方案可以集成，例如工业相机制造商(如Flir、AVT、Basler等)的相机板通常可在MIPI或USB3接口中使用，后者能够达到的范围可以超过3米至5米。 1.3 减小开发成本 在投资新产品时，不断上升的开发成本往往是一个挑战;它可能会在一次性开发费上花费数百万美元，并给上市时间带来压力。对于嵌入式视觉，这种压力变得更大，因为模块化(即产品能否切换使用多种图像传感器)是集成商的重要考虑。幸运的是，通过在传感器之间提供一定程度的交叉兼容性，例如，通过定义共享相同像素体系结构的组件系列以具有稳定的光电性能，通过具有共用光学中心来共享单个前端机制，以及通过兼容的PCB组件来简化评估，集成和供应链，从而减小开发费用。 为简化相机板设计(即使用于多款传感器)，有两种方法设计传感器封装。针脚对针脚兼容是相机板设计人员的首选设计，因为它能使多种传感器共享同一电路和控制，使得组装完全不受PCB设计影响。另一个选择是采用尺寸兼容的传感器，这样同一PCB可以使用多款传感器，但是这也意味着他们可能要应付每一款传感器的接口和布线的差异状况。 图1 图像传感器可经设计提供针脚兼容(图左)或尺寸兼容(图右)以实现专有PCB布局设计 2. 能效提供更佳单独工作能力 微型电池驱动的设备是最明显的受益于嵌入式视觉的应用程序，因为外部计算机阻止任何便携式应用程序的发生。为了降低系统的能耗，图像传感器现在包含了多种功能，使系统设计者能够节省电力。 从传感器角度出发，有多种方法减小嵌入式视觉系统功耗而不损采集帧率。最简单的方法是通过尽可能长时间使用待机或闲置模式，在系统级最小化传感器本身的动态操作。待机模式通过关闭仿真电路，把传感器的功耗降低到工作模式的10%以下。而闲置模式则可把功耗减半，并让传感器在数微秒内重新启动获取图像。 而在传感器设计集成节能的另一个方法是采用先进光刻节点技术。技术节点越小，转换晶体管所需的电压便越小，由于功耗与电压成正比，这样就能降低功耗。所以10年前使用180nm技术生产的像素不单把晶体管缩小到110nm，同时也把数字电路的电压从1.9伏降到1.2伏。下一世代的传感器将使用65nm技术节点，使得嵌入式视觉应用更省能。 最后一点是，通过选择合适的图像传感器，可以在某些条件下降低LED灯的能耗。有一些系统必须使用主动照明，例如三维地图生成、动作停顿、或是纯粹使用顺序脉冲指定波长来提高反差。在这些情形下，减低图像传感器在低亮度环境下的噪声便能实现更低的功耗。减小了传感器噪声，工程人员便可决定减小电流密度强度，或是减小集成进嵌入式视觉系统的LED灯数目。 在其他情况下，当图像捕获和LED闪烁由外部事件触发时，选择适当的传感器读出结构可以显著节省电能。 使用传统卷帘快门传感器，帧全曝光时LED灯必需全开，而全局快门传感器则允许只在帧的某部份开动LED灯。所以如使用像素内相关双采样(CDS)应用下，以全局快门传感器替代卷帘快门传感器就可以节省照明成本，同时仍保持与显微镜中使用的CCD传感器一样低的噪声。 3. 片上功能为应用程序设计的视觉系统铺平了道路 嵌入式视觉的一些偏锋延展概念，引导我们对图像传感器进行全面定制，以3D堆叠方式集成所有处理功能(芯片上的系统) 以实现优化性能和功耗。不过，开发这一类产品的成本十分高昂，能够达到这一集成水平的全定制传感器长远来说并非完全不可能，而现在我们正处于一个过渡阶段，包含将某些功能直接嵌入到传感器，以减省计算负载和加快处理时间。 例如在条形码阅读应用，Teledyne e2v公司已拥有专利技术，将包含一个专有条形码识别算法的嵌入式功能加进传感器芯片，这算法可以找出每一帧幅内的条形码位置，让图像信号处理器只需聚焦于这些范围，提高数据处理效率。 图2 Teledyne e2v Snappy五百万像素芯片，自动识别条形码位置 另一个减少处理负载和优化“良好”数据的功能是Teledyne e2v的专利快速曝光模式，该模式使传感器能够自动校正曝光时间，以避免照明条件变化时出现饱和。 这项功能优化了处理时间，因为它适应了单帧中光照的波动，而且这种快速反应最大限度地减少了处理器需要处理的“坏”图像的数量。 这些功能通常是特定的，需要很好地理解客户的应用程序。只要对应用程序有足够的了解，就可以设计多种其他片上功能来优化嵌入式视觉系统。 4. 减小重量尺寸以配合最小应用空间 嵌入式视觉系统的另一主要要求是能够配合狭小空间，或是重量要小，以便用于手持式设备/或延长电池推动产品的工作时间。这就是现在大部份嵌入式视觉系统使用只有1MP到5MP的低分辨率小型光学格式传感器的原因。 减小像素芯片的尺寸只是减小图像传感器占位面积和重量的第一步。现在的65nm工艺让我们能够把全局快门像素尺寸减小至2.5µm而不损光电性能。这种生产工艺使得诸如全高清全局快门CMOS图像传感器能够配合手机市场要求小于1/3英寸的规格。 减小传感器重量和占位面积的另一主要技术是缩小封装尺寸。芯片级封装在过去数年在市场迅速成长，在移动、车载电子和医疗应用中特别明显。相较用工业市场常用的传统陶瓷(Ceramic Land Grid Array，简称CLGA)封装，芯片级扇出封装能够实现更高密度连接，因而是嵌入式系统图像传感器轻量化小型化挑战的出色解决方案。例如Teledyne e2v的Emerald 2M图像传感器芯片级封装，侧高只是陶瓷封装的一半，而尺寸则减小30%。 图3 同一芯片采用CLGA封装(图左)和晶圆级扇出有机封装(图右)的比较，后者能够减少占位、厚度和成本 展望未来，我们预期新的技术能进一步实现嵌入式视觉系统所需的更小传感器尺寸。 三维堆栈是让半导体器件生产的创新技术，它的原理是在不同晶圆上制造各种电路芯片，然后利用铜对铜连接和过硅通孔(Through Silicon Vias，简称TSV)技术进行堆栈和互联。三维堆栈因为是多层重迭芯片，允许器件实现比传统传感器更小的占位尺寸。而在三维堆栈传感器中， 读出和处理芯片可以置于像素芯片和行译码器的下方。这样，传感器的占位尺寸因缩小的读出和处理芯片而减小，并且可以在传感器中加入更多处理资源以减小图像信号处理器的载荷。 图4 三维芯片堆栈技术有助于实现像素芯片、仿真和数字电路，甚至是用于专门应用的附加处理芯片组合重迭，减小传感器面积 不过，要让三维堆栈技术在图像传感器市场获得广泛应用，现在还面对着一些挑战。首先这是一个新兴的技术，其次是它的成本较高，因为需要附加的工艺步骤，使得芯片成本比使用传统技术的芯片高三倍以上。因为三维埋迭将主要是高性能或非常小占位尺寸的嵌入式视觉系统的选择。 总结而言，嵌入式视觉系统可以归纳为一种「轻量」视觉技术，可以用于包括OEM、系统集成商和标准相机厂商等不同类型企业。“嵌入式 “是一个可用于不同应用的概括性描述，因而不能开出列表说明它的特征。不过优化嵌入式视觉系统有几个适用法则，就是一般而言，市场推动力并非来自超级快的速度或超高的灵敏度，而是尺寸、重量、功耗和成本。图像传感器是这些条件的主要推手，所以需要小心选择合适的图像传感器，以便于优化嵌入式视觉系统的总体性能。合适的图像传感器能为嵌入式设计人员带来更多灵活性，节省材料清单成本，减小照明和光学组件的占位面积。它也让设计人员在无需面对更多复杂性的情况下，选择来自消费市场的大量经济适用并具有优化深度学习功能的图像信号处理器。

    时间：2019-10-19 关键词： 控制器 嵌入式开发 图像处理 嵌入式视觉

  • 细解“嵌入式视觉”与标准机器视觉区别

    细解“嵌入式视觉”与标准机器视觉区别

     “嵌入式视觉”与标准机器视觉系统之间的明显区别有时并不容易。进行分类的一种方法是将它们分解为三个部分。 第一部分：包括带摄像头和独立PC的经典视觉系统。 第二部分：包括基于板级相机和特定应用硬件(如小型PC)的系统。 第三部分：您将找到一个高度集成的系统，该系统具有很强的小型化程度，并且只有少数或根本没有标准化组件。例如，在第一部分和第二部分中，您通常会发现使用GigE，USB，屏蔽电缆等的相机系统，而在第三部分中，您更有可能找到带有带状电缆的LVDS等低级接口。 换句话说，沿着从第一阶段到第三阶段的路径，相机变得更小并且标准化部件的数量缩小。 成本节约是嵌入式视觉的结果。 与传统的PC设置相比，嵌入式方法不仅可以节省空间和能源。它也能够以低得多的成本实现。嵌入式系统降低成本的一个主要因素是软件。例如，Linux操作系统和OpenCV图像处理库是开源的，免费提供，因此使用此组合时，无需担心许可费用。 此外，基于ARM的处理器系列正在不断升级。众所周知，它具有经济实惠的性能，可用于各种性能等级，包括具有多核架构的性能等级。基于ARM的流程目前在嵌入式领域占据主导地位，并且比基于x86的处理器更为普遍。 对于在基于ARM和x86的架构上运行的SDK，通常可以将程序代码移植，而无需花费大量时间和精力。已经开发的代码的可重用性可以显着节省成本。 嵌入式视觉的硬件方面：芯片上的系统(SOC)，模块上的系统(SOM)和模块上的计算机(COM) 嵌入式区域中使用的处理板通常是具有x86或ARM处理器的平台。这里使用的处理器通常将图形单元，总线系统和接口(USB，GigE，PCIe等)集中在一个所谓的片上系统或SOC中。 硬件集成的下一步使用模块上计算机或模块上系统(COM或SOM，可以同义使用)。SOC，RAM，电源管理和任何其他外围设备在电路板上组合成带有插头连接器的模块。   通过系统模块降低硬件开发成本 在嵌入式应用程序的硬件开发范围内，开发人员只需开发所谓的载体或基板，然后通过合适的插头连接器将其用于安装SOM。总的来说，这就是嵌入式处理板。 这种方法的好处在于，硬件开发中最复杂的部分已经通过SOM完成。从根本上将SOM连接到外部接口(USB，GigE，HDMI等)的基板，与开发所需的所有组件的完全定制设计相比，复杂得多，开发成本更低。例如，在单个电路板上。 各种具有各种SOC(包括x86和ARM)的SOM也可用于工业应用。制造商通常将其SOM设计为兼容，而无需调整基板，因此可以使用性能更高的SOM轻松替换性能较低的SOM。 还建立了几个独立于制造商的标准，例如COM Express，Qseven和SMARC。但是，在这种情况下，SOM在不同制造商产品中的兼容性通常仅涵盖SOM功能的一部分。 SOM使得即使在小单位体积的情况下开发嵌入式视觉系统也具有吸引力。虽然这种使用SOM方法的完全定制设计不太可能降低生产成本，但与传统的标准PC设置相比，它仍然具有显着的成本效益。

    时间：2019-07-29 关键词： 标准机器视觉 嵌入式视觉

  • 基于图像传感器推动嵌入式视觉技术发展的研究

    基于图像传感器推动嵌入式视觉技术发展的研究

    近年源于消费类市场经济适用硬件器件的开发，相较于以往使用电脑的方案，这些器件大幅度减小了材料 清单(BOM)成本和产品体积。举个例子，小型系统集成商或 OEM 现在能够小批量采购诸如 NVIDIA Jetson 的单板机或模块系统;而较大型的 OEM 则可以直接获得如高通骁龙(Qualcomm Snapdragon)或英 特尔(Intel) Movidius Myriad 2 等图像信号处理器。在软件级方面，市面软件库能够加快专用视觉系统的开 发速度，减小配置难度，即便是针对小批量生产。 第二个推动嵌入式视觉系统发展的变化是机器学习的出现，它使实验室中的神经网络能够接受培训，然后 直接上传到处理器中，以便它能够自动识别特征，并实时做出决定。 能够提供适用于嵌入式视觉系统的解决方案，对于面向这些高增长应用的成像企业来说至关重要。图像传 感器由于能够直接影响嵌入式视觉系统的效能和设计，因而在大规模引进中有重要角色，而它的主要推动 因素可概括为：更小尺寸、重量、功耗和成本，英语简称为“SWaP-C”(decreasing Size， Weight， Power and Cost)。 1. 降低成本至关重要 嵌入式视觉新应用的加速推动器是满足市场需求的价格，而视觉系统成本正是实现这要求的一个主要制肘。 1.1. 节省光学成本 减小视觉模块成本的第一个途径是缩小产品尺寸， 原因有两个：首先是图像传感器的像素尺寸愈小，晶圆 便可以制造更多的芯片;另一方面传感器可以使用更小更低成本的光学组件，二者都能够降低固有成本。 例如 Teledyne e2v 的 Emerald 5M 传感器把像素尺寸减小至 2.8μm，让 S 口(M12) 镜头能够用于五百万 像素全局快门传感器上，带来直接的成本节省──入门级的 M12 镜头的价格约为 10 美元，而较大尺寸的 C 口或 F 口镜头成本是其 10 到 20 倍。所以减小尺寸是降低嵌入式视觉系统成本的有效方法。 对于图像传感器制造商来说，这种降低的光学成本对设计有另一个影响，因为一般来说，光学成本越低， 传感器的入射角越不理想。因此，低成本光学需要在像素上方设计特定的位移微透镜，以补偿来自广角的 畸变和聚焦光。 1.2. 传感器低成本接口 除了光学优化，传感器接口的选择也间接影响视觉系统的成本。MIPI CSI-2 接口是实现节约成本的最合适 选择(它最初是由 MIPI 联盟为移动行业开发的)。它已被大多数 ISP 广泛采用，并已开始在工业市场采 用，因为它提供了一个从 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上系统(SOC)或模块上 系统(SOM)的集成。设计一种具有 MIPI CSI-2 传感器接口的 CMOS 图像传感器，无需任何中间转换器 桥，直接将图像传感器的数据传输到嵌入式系统的主机 SOC 或 SOM，从而节省了成本和 PCB 空间，当 然，在基于多传感器的嵌入式系统(如 360 度全景系统)中，这一优势更为突出。 不过这些好处受到一些限制，因为 MIPI 接口的连接距离限制为 20 cm，这在传感器距离主机处理器较远 的远程设置中可能不是最佳的。在这些配置中，以牺牲小型化为代价，使用集成更长接口的相机板解决方 案是比较好的选择。一些现成的解决方案可以集成，例如工业相机制造商(如 Flir、AVT、Basler 等)的 相机板通常可在 MIPI 或 USB3 接口中使用，后者能够达到的范围可以超过 3 米至 5 米。 1.3. 减小开发成本 在投资新产品时，不断上升的开发成本往往是一个挑战;它可能会在一次性开发费上花费数百万美元，并 给上市时间带来压力。对于嵌入式视觉，这种压力变得更大，因为模块化(即产品能否切换使用多种图像 传感器)是集成商的重要考虑。幸运的是，通过在传感器之间提供一定程度的交叉兼容性，例如，通过定 义共享相同像素体系结构的组件系列以具有稳定的光电性能，通过具有共用光学中心来共享单个前端机制， 以及通过兼容的 PCB 组件来简化评估，集成和供应链，从而减小开发费用。 为简化相机板设计(即使用于多款传感器)，有两种方法设计传感器封装。针脚对针脚兼容是相机板设计 人员的首选设计，因为它能使多种传感器共享同一电路和控制，使得组装完全不受 PCB 设计影响。另一 个选择是采用尺寸兼容的传感器，这样同一 PCB 可以使用多款传感器，但是这也意味着他们可能要应付 每一款传感器的接口和布线的差异状况。 图 1： 图像传感器可经设计提供针脚兼容 ( 图左 ) 或尺寸兼容 ( 图右 ) 以实现专有 PCB布局设计 2. 能效提供更佳单独工作能力 微型电池驱动的设备是最明显的受益于嵌入式视觉的应用程序，因为外部计算机阻止任何便携式应用程序 的发生。为了降低系统的能耗，图像传感器现在包含了多种功能，使系统设计者能够节省电力。 从传感器角度出发，有多种方法减小嵌入式视觉系统功耗而不损采集帧率。最简单的方法是通过尽可能长 时间使用待机或闲置模式，在系统级最小化传感器本身的动态操作。待机模式通过关闭仿真电路，把传感 器的功耗降低到工作模式的 10%以下。而闲置模式则可把功耗减半，并让传感器在数微秒内重新启动获取 图像。 而在传感器设计集成节能的另一个方法是采用先进光刻节点技术。技术节点越小，转换晶体管所需的电压 便越小，由于功耗与电压成正比，这样就能降低功耗。所以 10 年前使用 180nm 技术 生产的像素不单把晶体管缩小到 110nm，同时也把数字电路的电压从 1.9 伏降到 1.2 伏。下一世代的传感 器将使用 65nm 技术节点，使得嵌入式视觉应用更省能。 最后一点是，通过选择合适的图像传感器，可以在某些条件下降低 LED 灯的能耗。有一些系统必须使用 主动照明，例如三维地图生成、动作停顿、或是纯粹使用顺序脉冲指定波长来提高反差。在这些情形下， 减低图像传感器在低亮度环境下的噪声便能实现更低的功耗。减小了传感器噪声，工程人员便可决定减小 电流密度强度，或是减小集成进嵌入式视觉系统的 LED 灯数目。在其他情况下，当图像捕获和 LED 闪烁 由外部事件触发时，选择适当的传感器读出结构可以显著节省电能。使用传统卷帘快门传感器，帧全曝光 时 LED 灯必需全开，而全局快门传感器则允许只在帧的某部份开动 LED 灯。所以如使用像素内相关双采 样(CDS)应用下，以全局快门传感器替代卷帘快门传感器就可以节省照明成本，同时仍保持与显微镜中使 用的 CCD 传感器一样低的噪声。 3. 片上功能为应用程序设计的视觉系统铺平了道路 嵌入式视觉的一些偏锋延展概念，引导我们对图像传感器进行全面定制，以 3D 堆叠方式集成所有处理功 能(芯片上的系统) 以实现优化性能和功耗。不过，开发这一类产品的成本十分高昂，能够达到这一集成 水平的全定制传感器长远来说并非完全不可能，而现在我们正处于一个过渡阶段，包含将某些功能直接嵌 入到传感器，以减省计算负载和加快处理时间。 例如在条形码阅读应用， Teledyne e2v 公司已拥有专利技术，将包含一个专有条形码识别算法的嵌入式 功能加进传感器芯片，这算法可以找出每一帧幅内的条形码位置，让图像信号处理器只需聚焦于这些范围， 提高数据处理效率。 图2： Teledyne e2v Snappy 五百万像素芯片，自动识别条形码位置 另一个减少处理负载和优化“良好”数据的功能是 Teledyne E2V 的专利快速曝光模式，该模式使传感器能 够自动校正曝光时间，以避免照明条件变化时出现饱和。这项功能优化了处理时间，因为它适应了单帧中 光照的波动，而且这种快速反应最大限度地减少了处理器需要处理的“坏”图像的数量。 这些功能通常是特定的，需要很好地理解客户的应用程序。只要对应用程序有足够的了解，就可以设计多 种其他片上功能来优化嵌入式视觉系统。 4. 减小重量尺寸以配合最小应用空间 嵌入式视觉系统的另一主要要求是能够配合狭小空间，或是重量要小，以便用于手持式设备/或延长电池推 动产品的工作时间。这就是现在大部份嵌入式视觉系统使用只有 1MP 到 5MP 的低分辨率小型光学格式传 感器的原因。 减小像素芯片的尺寸只是减小图像传感器占位面积和重量的第一步。现在的 65nm 工艺让我们能够把全局 快门像素尺寸减小至 2.5μm 而不损光电性能。这种生产工艺使得诸如全高清全局快门 CMOS 图像传感器 能够配合手机市场要求小于 1/3 英寸的规格。 减小传感器重量和占位面积的另一主要技术是缩小封装尺寸。芯片级封装在过去数年在市场迅速成长， 在移动、车载电子和医疗应用中特别明显。相较用工业市场常用的传统陶瓷 (Ceramic Land Grid Array， 简称 CLGA) 封装，芯片级扇出封装能够实现更高密度连接，因而是嵌入式系统图像传感器轻量化小型化 挑战的出色解决方案。例如 Teledyne e2v 的 Emerald 2M 图像传感器芯片级封装，侧高只是陶瓷封装的 一半，而尺寸则减小 30%。 图 3 ：同一芯片采用 CLGA 封装 ( 图左 ) 和晶圆级扇出有机封装 ( 图右 ) 的比较。后者能够减少占位、厚 度和成本 展望未来，我们预期新的技术能进一步实现嵌入式视觉系统所需的更小传感器尺寸。 三维堆栈是让半导体器件生产的创新技术，它的原理是在不同晶圆上制造各种电路芯片，然后利用铜对铜 连接和过硅冲孔(Through Silicon Vias，简称 TSV)技术进行堆栈和互联。三维堆栈因为是多层重迭芯片， 允许器件实现比传统传感器更小的占位尺寸。而在三维堆栈传感器中，读出和处理芯片可以置于像素芯片 和行译码器的下方。这样，传感器的占位尺寸因缩小的读出和处理芯片而减小，并且可以在传感器中加入 更多处理资源以减小图像信号处理器的载荷。 图 4 ：三维芯片堆栈技术有助于实现像素芯片、仿真和数字电路，甚至是用于专门应用的附加处理芯片组合重迭，减小传感器面积 不过，要让三维堆栈技术在图像传感器市场获得广泛应用，现在还面对着一些挑战。首先这是一个新兴的 技术，其次是它的成本较高，因为需要附加的工艺步骤，使得芯片成本比使用传统技术的芯片高三倍以上。 因为三维埋迭将主要是高性能或非常小占位尺寸的嵌入式视觉系统的选择。 总结而言，嵌入式视觉系统可以归纳为一种“轻量”视觉技术，可以用于包括 OEM、系统集成商和标准 相机厂商等不同类型企业。“嵌入式 “是一个可用于不同应用的概括性描述，因而不能开出列表说明它的特 征。不过优化嵌入式视觉系统有几个适用法则，就是一般而言，市场推动力并非来自超级快的速度或超高 的灵敏度，而是尺寸、重量、功耗和成本。图像传感器是这些条件的主要推手，所以需要小心选择合适的 图像传感器，以便于优化嵌入式视觉系统的总体性能。合适的图像传感器能为嵌入式设计人员带来更多灵 活性，节省材料清单成本，减小照明和光学组件的占位面积。它也让设计人员在无需面对更多复杂性的情 况下，选择来自消费市场的大量经济适用并具有优化深度学习功能的图像信号处理器。

    时间：2019-07-23 关键词： 图像传感器 接口 mipi 技术前沿 嵌入式视觉

  • ADI技术市场经理畅谈嵌入式系统发展

    ADI技术市场经理畅谈嵌入式系统发展

    当前嵌入式系统正经历新一轮的转型浪潮，各种具备计算能力的智能终端被连接至互联网络中，形成所谓的“智能系统”。ADI公司技术市场经理张铁虎就这个话题，谈了谈他眼中的嵌入式系统。您认为新一代嵌入式智能系统将具备那些明显特征？随着物联网概念的落地，在未来几年内，互联网设备将以嵌入式产品的形式出现，嵌入式互联网设备正逐渐从工业级应用渗透到普通消费者的日常生活中。为了适应网络互联和网络发展的要求，未来的嵌入式设备要求硬件上提供各种网络通信接口，并提供强大的硬件开发工具和软件包支持和友好的多媒体人机界面。嵌入式智能系统的出现将给业界带来怎样的机遇与挑战？随着集成度的不断提高，嵌入式系统在架构方面遇到更低功耗、更小尺寸方面的挑战。而在性能方面，多种协议间的互联性和系统的灵敏度和可靠性是主要挑战。在接入能力方面的挑战，不同网络之间，即传感器网络、智能电网和局域网之间存在互操作性难题。随着全球各地纷纷推出不同的标准(比如无线M-Bus、Zigbee、WiMax、Wi-Fi、WiBro等等)，维持这种互操作性的难度也在不断增加。贵公司目前针对工业、数字标牌、嵌入式视觉(汽车安全系统、视频监控)等行业，有哪些具有市场优势的产品和解决方案？主要亮点是什么？ADI公司的嵌入式处理器和DSP产品组合由Blackfin、SHARC、SigmaDSP、TigerSHARC、ADSP-21xx及模拟微控制器组成，提供高速、多DSP信号处理、融合信号/控制处理、固定功能处理及微控制器应用等多种功能。ADI针对嵌入式视觉应用进行优化的双核Blackfin处理器ADSP-BF60xADI最近推出的新一代双核、1GHz处理能力的Blackfin处理器ADSP-BF60x系列针对嵌入式视觉应用进行了优化，并均配备一个称为“流水线视觉处理器(PVP) ”的高性能视频分析加速器。PVP是靠近Blackfin内核的一组功能模块，专为加快图像处理算法和降低整体带宽要求而设计。该PVP加速器每秒能执行高达250亿次的数学运算，其结合两个Blackfin内核，为强大且灵活的处理器奠定了基础，从而实现极高的分析性能。这些处理器将是未来高级汽车辅助驾驶系统 (ADAS)、工业机器视觉和安防/监控系统等应用的理想之选。同时，ADSP-BF60x提供全面的开发工具、开发板和扩展板，包括CrossCore Embedded Studio软件开发工具、高速仿真器、EZ-Kit开发板和专用EZ-Extender卡。ADSP-BF60x Blackfin处理器系列以强大的性能，极低的功耗，便利的设计以及实惠的价格实现高级分析功能，从而使嵌入式视觉系统能得到更广泛的应用。ADI基于BF506F的汽车电动助力转向系统（EPS）电动助力转向系统（EPS）是未来转向系统的发展方向，该系统由助力电机直接提供转向助力，省去了液压动力转向系统所必需的动力转向油泵、软管、液压轴、传送带和皮带轮，既节省能量，又保护环境，逐渐成为轿车的标准装置。根据咨询公司Strategy Analytics对中国EPS市场的预测，在2010-2017年期间中国的EPS市场的年复合增长率将达到16.9%，约1800万套。BF506F是一个400MHz主频的低功耗处理器，片上4MBFLASH，双12bits，2MSPS12通道高速ADC，拥有CAN、UART通信接口，6对PWM输出。与同类产品相比，BF506F主频更高、片上FLASH更大、ADC数量采样率均比较高，更重要一点，BF506F更有成本优势。在外设资源相差不大，高主频意味着比较高的运算处理能力，因此，选择BF506F系列处理器实现EPS，在硬件平台不用变更的情况下，更容易实现算法、控制策略升级。ADI基于ADSP-BF592的视频分析传感器基于BF592的视频分析传感器定位为极低成本，功能单一，外观小巧的产品，因此，设计时尽量紧凑，采用一体板方式。模块图如下：如上图所示各模块，首先通过PPI接口从摄像头视频信号采集YUV数据，然后存为背景，再通过运动检测的方法得到前景，通过对前景进行过滤分析，然后判断是否有运动物体闯入场景，从而得到是否有入侵的报警数据，最后通过RS232通信接口将报警数据传送到客户端。BF592是Blackfin处理器产品系列的低成本入门级处理器，BF592提供200 MHz和400 MHz内核时钟速度，外设集包括两个SPORT口、一个PPI、两个SPI、四个通用计数器以及一个包含VDK RTOS和C运行库的工厂编程指令ROM块，其特性和成本针对不需要外部存储器或可执行闪存的计算密集型工业、汽车和通用应用进行了优化。BF592采用低成本9x9mm LFCSP封装，提供商用和工业温度等级以及通过汽车应用认证的产品。400-MMAC / 200-MHz Blackfin DSP售价1.99美元，评估板售价99美元。可以看出，基于BF592的视频分析传感器是一款极低成本，体积小，功耗低的产品，非常适用于智能楼宇，物联网的领域。张铁虎，ADI技术市场经理

    时间：2018-06-18 关键词： 嵌入式开发 blackfin eps adsp-bf60x 嵌入式智能系统 bf506f adsp-bf592 嵌入式视觉

  • CEVA-CV：实现嵌入式视觉应用

    CEVA-CV：实现嵌入式视觉应用

    计算机视觉（Computer Vision，CV）正在现实活动中经历着巨大的激增，应用范围从使用手势控制电视到可提醒驾驶员汽车偏离车道的汽车。你们中的很多人可能关注着在CEVA-MM3000系列上实施复杂算法的项目，该系列是用于计算机视觉应用的最高性能可编程平台。不过，此类高级计算密集型算法依赖于复杂的低级模块来实现快速上市，没有时间从低级代码开始编写算法，对此仅有一个解决方案：OpenCV。OpenCV程序库是开放源（open-source）程序集合，通常在计算机视觉算法中使用，它支持更高级别的代码，不仅可以更快地进入市场，而且可以更干净和更简便地进行维护和修改——这在快速算法发展中是很重要的。并且当程序库针对用户平台优化之后，用户可以快速实现最快的性能。这就是为什么CEVA最近推出CEVA-CV：为在CEVA-MM3101上实现最佳性能而进行超过500项OpenCV功能调整。优化的功能对于一系列流行应用是至关重要的，包括：●移动计算、电脑和智能电视●先进驾驶辅助系统（Advanced Driver Assist Systems，ADAS）：改进驾驶安全性的技术；●自然用户接口（Natural User Interfaces，NUI）：丰富互动体验的技术，比如手势、脸和情绪识别技术；●计算摄影学：图像增强，将低品质图像结合到高品质效果中；●工业视觉：通过先进的视觉功能来增强工业机器和机器人；●监视：准确而可靠地识别和追踪物体；某些移植功能是基本的，比如直方图、过滤器和仿射变换；其它则代表了复杂的功能，比如用于象限检测的FAST算法、用于数据相关的RANSAC、连通分量的识别，以及用于污点检测（blob detection）的MSER.将CEVA-CV用于CEVA-MM3101是极其有效的，因为CEVA-MM3101架构是专门为计算机视觉设计的。已经先后完成了参考设计和架构设计，以确保实际代码驱动平台设计决策。这实现了两个目标：通过尽可能少的代码行进行工作来达到高性能，通过较低的工作频率和先进节能特性，如功率调节单元（Power Scaling Unit，PSU）来实现低功率。通过平台设计进一步实现每指令工作（work-per-instruction）最大化，提供：●传统单指令多数据（Single-Instruction-Multiple-Data，SIMD）指令，允许立即在32位或64位上运行●超长指令字（Very-Long-Word Instructions，VLIW），允许将多达六个独立运算打包在单指令中；并且●矢量运算——本质上为增强的SIMD，允许进行128位或256位数据运算一家大举进入ADAS领域的公司是iOnRoad，该公司已与CEVA合作，已经实现了驾驶辅助、碰撞警报和智能手机中的“黑匣子”视频记录。

    时间：2018-06-12 关键词： 嵌入式开发 opencv ceva-cv ceva-mm3000 嵌入式视觉

  • 嵌入式视觉和网络边缘智能应用市场前景如何？且看本文

    嵌入式视觉和网络边缘智能应用市场前景如何？且看本文

    嵌入式视觉技术不再局限于高度专业化的应用，它在各类市场上拥有广阔的用武之地。 十年前，嵌入式视觉技术主要用于比较少见、高度专业化的应用。今天，设计工程师们在越来越多新兴的工业、汽车和消费电子应用中为视觉应用找到了用武之地。制造商一直以来都依赖于工业应用中的机器视觉系统，但随着先进机器人技术和机器学习技术的涌现以及向工业4.0制造模式的转变，嵌入式视觉应用的疆土在逐步扩大。现代汽车采用的电子产品，尤其是高级驾驶辅助系统(ADAS)和车载信息娱乐系统的快速发展也为嵌入式视频应用带来了契机。无人机、游戏系统、监控和安防等消费电子解决方案的开发工程师看到了嵌入式视觉技术的优势。随着网络边缘应用领域对智能功能的需求不断上升，新兴的AI解决方案将越来越依赖于嵌入式视觉技术。 我们已经可以看到许多改变。首先，对于快速部署低成本嵌入式视觉解决方案而言至关重要的许多关键组件和工具终于面世了。如今，设计工程师可以从各种成本较低的处理器中进行选择，这些处理器具备小尺寸、高性能、低功耗的特性。同时，得益于快速增长的移动市场，设计工程师得以从摄像头和传感器的普及中受益。与此同时，软件和硬件工具的改进有助于简化开发并加速上市进程。本文将探讨如何使用嵌入式视觉技术、采用嵌入式视觉技术的理由以及近期哪些应用最有希望采用嵌入式视觉技术。 更强处理能力 根据定义，嵌入式视觉系统实际上涵盖了执行图像信号处理算法或视觉系统控制软件的任何设备或系统。智能视觉系统中的关键部分是进行实时高清数字视频流处理的高性能计算引擎、大容量固态存储、智能摄像头或传感器以及高级分析算法。这些系统中的处理器可以执行图像采集、镜头校正、图像预处理和分割、目标分析以及各种启发式(heuristics)功能。嵌入式视觉系统设计工程师采用各种处理器，包括专为视觉应用设计的通用CPU、图象处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和专用标准产品(ASSP)。上述处理器架构具备明显的优势和短板。在许多情况下，设计工程师将多种处理器整合到一个异构计算环境中。有时候，处理器则被集成到一个组件中。此外，一些处理器使用专用硬件来尽可能实现最高的视觉算法性能。诸如FPGA之类的可编程平台为设计工程师提供了高度并行的计算密集型应用架构以及用于I/O扩展等其他应用的资源。 在摄像头方面，嵌入式视觉系统设计工程师使用模拟摄像头和数字图像传感器。数字图像传感器通常是需要可见光环境的CCD或CMOS传感器阵列。嵌入式视觉系统也可用于感测其他数据，如红外、超声波、雷达和激光雷达。 越来越多的设计工程师开始转向采用摄像头或各种传感器的“智能摄像头”作为视觉系统中所有边缘电子设备的核心。其他系统将传感器数据传输到云端以减少系统处理器的负载，在这个过程中系统功耗、占用空间和成本降至最低。但是，当需要基于图像传感器数据进行低延迟的关键决策时，这种方法将面临问题。 利用移动优势 尽管嵌入式视觉解决方案早已面市多年，但该技术的发展速度受到了很多因素的限制。首先也是最重要的是，这项技术的关键要素仍没有能够以低成本的方式实现。特别是能够实时处理高清数字视频流的计算引擎尚未普及。高容量固态存储和高级分析算法的限制也带来了挑战。 最近市场上的三种发展趋势有望彻底改变嵌入式视觉系统的面貌。首先，移动市场的高速发展为嵌入式视觉设计工程师提供了海量的处理器可选方案，能够以低功耗提供相对较高的性能。其次，MIPI联盟推出的移动行业处理器接口(MIPI)能够为设计工程师提供替代方案，使用符合标准的硬件和软件组件来构建创新且具有成本效益的嵌入式视觉解决方案。最后，针对移动应用的低成本传感器和摄像头的激增，帮助嵌入式视觉系统设计工程师实现更好的解决方案并降低成本。 工业应用 工业应用领域中的机器视觉系统一直以来都是嵌入式视觉领域最有前景的应用方向之一。机器视觉技术是其中最成熟和数量最多的应用。它被广泛用于制造过程和质量管理应用。通常，这些应用领域中的制造商采用由一个或多个智能摄像头与处理器模块组成的紧凑型视觉系统。Transparency Market Research的分析师预测，机器视觉市场将从2014年的157亿美元增长至285亿美元(2021年)。 今天，设计工程师为这项技术找到很多潜力无限的全新应用领域。例如，图1中的机器视觉智能摄像头非常适合用于监控生产线上的制造设备。设计工程师可以使用FPGA实现图像传感器桥接，用作一个完整的摄像头图像信号处理流水线(ISP)，以及提供GeVision或USB Vision等互连解决方案。   图1：机器视觉智能摄像头中的FPGA 另一个例子是基于FPGA的视频采集卡(图2)，它聚合了来自多个摄像头的数据，并进行图像预处理，然后通过PCIe接口将数据发送到主处理器。   图2：视频采集卡 随着越来越多的制造商采用工业4.0模式，工业市场对视觉系统的需求也将越来越大。在这个新时代，制造商将把先进的机器人、机器学习、3D深度测绘和工业物联网(IIoT)整合到一起以提高组织和生产能力。在2011年发布的一篇题为“工业4.0--未来智能制造”的文章中首次提出，工业4.0代表了工业革命历史上的第四个阶段。2012年，工业4.0工作组向德国联邦政府提出了一套实施建议。 工业革命的第一阶段工业1.0在制造业中引入了水和蒸汽动力机械。劳动分工环境下首次出现的电力驱动批量生产技术奠定了工业2.0的基础。工业的第三个时代从采用计算机开始，初次涉足自动化领域，在装配线上用自动化机器逐渐取代人类。 今天，制造商期望工业4.0能够帮助他们实现又一次的飞跃，进一步提高生产力。在“智慧工厂”这个概念的驱动下，工业4.0将引入物理网络系统来监控智能工厂的生产过程并实现分权决策。这种模式将通过整合大数据与分析、IT与物联网融合、机器人技术的最新进展以及数字供应链的迭代发展等理念推动行业向着数字化转型。最后，通过互联网，这些物理系统将实现系统交互和人机交互，成为工业物联网(IIoT)的一部分。[!--empirenews.page--] 一个工业4.0智慧工厂将会是什么样子?首先，它将为机器、设备、传感器和人员提供广泛的互操作性和高水平的通信能力。其次，它将具有很高的信息透明度，系统通过传感器数据创建物理世界的虚拟映射，使得信息情境化。第三，智能工厂的决策行为将高度分散，物理网络系统尽可能自主运行。第四，这些工厂将提供高水平的技术援助，系统可以帮助彼此解决问题、做出决策并帮助人类完成太难或危险的任务。几乎在所有情况下，制造商都将比以往更依赖嵌入式视觉系统。 当然，采用这种新模式的制造商也将面临诸多挑战。他们必须要开发可靠性极高和延迟极低的嵌入式视觉系统以确保物理网络通信的正常工作。工业4.0将迫使制造商保持生产过程的完整性，同时减少人为监管。当他们在部署这些新系统时会面临资深人员不足的问题。但好处远远超过了挑战。工业4.0将会大幅提升危险工作环境中工作人员的健康和安全保障。来自制造过程中各个层面的数据可帮助制造商能够更简单有效地控制其供应链。 汽车应用 鉴于汽车领域中电子应用的迅速增长，汽车市场无疑是嵌入式视觉应用最有潜力的发展领域。高级驾驶辅助系统和信息娱乐功能的推出有望快速推动相关市场的增长。Research and Markets.com的分析师预测，2016年至2021年间，ADAS市场将以10.44%的复合年增长率增长。这些应用中最常用的嵌入式视觉产品是摄像头模块。供应商要么自己开发分析工具和算法，要么采用来自外部开发工程师的第三方IP。新兴的汽车应用领域之一是驾驶员监控系统，该系统使用视觉应用追踪驾驶员头部和身体动作以进行疲劳状态识别。另一个是视觉系统，通过监测看短信或饮食等潜在的驾驶员分心因素提高车辆操作安全。 但是汽车中的视觉系统可以做的远不止是监控车内发生的事情。从2018年起，有一些国家的法规将要求新车必须配备后视摄像头，以帮助司机看到车辆后方的情况。像车道偏离预警系统这样的新应用将视频和车道检测算法结合起来，以评估汽车的位置。此外，市场需求也推动了阅读警示标志、撞击缓冲、盲点检测、自动泊车、倒车辅助等功能的发展。所有这些功能都有助于让驾驶变得更安全。 汽车视觉和传感系统的发展为实现真正的自动驾驶奠定了基础。例如，凯迪拉克将在2018年将其嵌入式视觉子系统集成到CT6轿车中，以实现业界首款解放双手的驾驶技术SuperCruise。通过不断分析驾驶员和道路情况，精确的LIDAR数据库提供道路情况，而先进的摄像头、传感器和GPS实时 反应道路的动态状况细节，这项新技术将使驾驶变得更加安全。总体而言，汽车制造商已经形成了一致的想法，即现代车辆中的ADAS系统将需要前置摄像头进行车道检测、行人检测、交通标志识别和紧急制动功能。同时还需要侧面和后面的摄像头来支持停车辅助、盲点检测和交叉车流警报功能。 汽车制造商面临的一个挑战是现有电子设备中的I/O数量有限。目前主流处理器仅具备两个摄像头接口。然而，许多ADAS系统需要多达8台摄像头才能满足图像质量要求。设计工程师需要的解决方案要能够为他们提供协同处理资源，将来自多个摄像头的视频流拼接在一起，或基于摄像头输入执行图像处理功能，如白平衡、鱼眼校正和除雾等，并通过单个数据流将数据发送到应用处理器(AP)。例如，许多汽车制造商提供的ADAS系统中都具备鸟瞰视图功能，驾驶员可以看到车辆上方20英尺处向下的现场视频。ADAS系统通过将来自4个或更多摄像头的数据拼接为宽视野图像实现这一功能。 以前，设计工程师在驱动每个显示屏时都要使用一个处理器。而现在，设计工程师可以使用单个FPGA替代多个处理器，聚合所有摄像头数据，将图像拼接在一起，执行预处理和后处理功能，并将图像发送到系统处理器。图3展示了360度鸟瞰汽车摄像系统的简化架构，该系统从位于汽车周围的4个摄像头(前方、后方和两侧)收集数据。系统使用单个FPGA进行各种预处理和后处理功能以及视频数据拼接，提供显示车辆周围环境的360度视图。在这种情况下，单个FPGA将取代多个处理器。   图3：车辆360度鸟瞰摄像系统 消费电子应用 无人机、增强现实/虚拟现实(AR / VR)和其他消费电子应用为嵌入式视觉解决方案开发者提供了巨大的机遇。今天，无人机设计工程师已经知道同步无人机上的6个或更多摄像头以创建全景视图比构建采用2个摄像头并将其移动180度的机械解决方案更便宜。同样，AR / VR设计工程师将单个视频流进行快速转化并将内容分割为双视频流输出。他们充分利用低成本移动相关技术的优势，使用两个MIPI DSI显示屏，每个显示屏对准用户的一只眼睛，实现低延迟、低功耗，增强深度感，为用户提供更加身临其境的体验(图4)。   图4：基于FPGA的虚拟现实系统 随着游戏机行业的不断发展，传统的游戏控制器将被图像传感器和视频分析器所取代，通过检测身体动作和面部表情来控制游戏。预计这些智能控制器将逐渐引入到其他消费电子产品中，如电视机、个人电脑、智能手机和平板电脑。此外，智能家居应用(如照明、加热和空调设备)可能会采用类似的功能并添加图像传感器。最终这些摄像头将取代传统物理控制器。 总结 不久之前，嵌入式视觉技术还在很大程度上受到组件性能的限制。智能视觉解决方案中的许多关键组件，特别是实时处理高清数字视频所需的计算引擎，价格高昂超出可接受的范围。那些日子已经一去不复返了!随着移动处理器的发展，低功耗FPGA和ASSP的出现，MIPI接口标准的推广以及低成本摄像头和传感器的普及，设计工程师可将曾经高度专业化的技术应用到智能工厂自动化、汽车电子和消费电子领域。显然嵌入式视觉技术将在这里发挥十分重要的作用。 题外话： 如何加速产品的上市进程 对于快速发展的嵌入式视觉市场而言，有一点勿庸置疑：竞争将会源源不断。对于那些希望快速进行开发的设计工程师来说，莱迪思半导体为嵌入式视觉解决方案提供了一个易于使用的快速原型设计开发平台。该嵌入式视觉开发工具套件包括一个由三块开发板组成的模块化平台，其中包括CrossLink VIP输入桥接板、ECP5 VIP处理器板以及HDMI VIP输出桥接板 。[!--empirenews.page--] CrossLink VIP输入桥接板提供2个用于连接索尼IMX高清摄像头传感器的MIPI CSI-2接口。ECP5 VIP处理器板包含一片ECP5 FPGA，专为预处理和后处理进行了优化。该处理器板还通过NanoVestor连接器与Helion Vision的高清(HD)图像信号处理(ISP)IP支持外部图像传感器视频输入。凭借Sil1136 IC，HDMI VIP输出板可连接标准HDMI显示器。 上述由三块开发板组成的开发平台提供了开发机器人、无人机、ADAS、智能监控和AV / VR系统等应用所需的设计灵活性和低功耗特性。该套件已预先内置双CSI-2至HDMI演示。CrossLink桥接器件接收两路摄像头输入信号，并将它们合并成单个数据流，然后通过并行接口将数据发送到ECP5 FPGA。ECP5-85 FPGA接收输入图像数据，并在将数据发送到HDMI输出板之前执行基本的图像处理功能。然后输出板将数据转换为HDMI格式并将图像呈现到标准显示屏上。

    时间：2018-04-19 关键词： 嵌入式处理器 智能应用 网络边缘 嵌入式视觉

  • All Programmable SoC 进军制造行业

    All Programmable SoC 进军制造行业

    制造领域为许多人提供了喜闻乐见的业余爱好，也激励着年轻人从事科学、技术、工程和数学方向的职业。这个领域的许多项目都使用嵌入式处理器(通常如 Arduino 或 Raspberry PI 系列)，以提供系统所需的智能化。 Arduino 和 Raspberry PI 这两大系列嵌入式处理器均得到开发环境的支持，为其提供多种软件库、模块和实例。这些软件库、模块和实例可帮助开发人员迅速方便地接口到各类型外设，如摄像头、加速计和电机等。正是这种易用性让这些处理器在制造领域倍受青睐。 直到最近制造商都把 All Programmable SoC 排除在制造领域之外，认为它适用于更专业的工程师。但随着 ZynqBerry、Pynq 和 Snickerdoodle 等基于 Zynq® 的开发板的推出以及基于软件的开发方法的问世，这种情况已经发生根本性变化。 这些开发板配有赛灵思 All Programmable Zynq®-7000 SoC 系列器件。这些器件将双核 ARM® Cortex™-A9 处理器与 All Programmable Artix®-7 FPGA 系列的可编程逻辑完美结合在一起。这可加快可编程逻辑架构内的功能，从而显著提升系统性能。但是传统的开发工作将可编程逻辑的设计与软件开发工作分割开来，可编程逻辑设计的实现需要专门的开发经验。现在已不存在这种情况。 当这些开发板与能在纯软件中开发应用的最新开发环境相结合，它们对制造业就变得极为有用。尤其是因为使用这些开发环境，用户不必具备FPGA专家级水平就能够开发出可编程逻辑，从而充分发挥了软硬件的优势。   从左到右制造商开发板分别是 Arduino、ZynqBerry、Pynq、Raspberry 和 Snickerdoodle。 开发环境 有两种开发环境可用于为这些 Zynq 开发板创建应用。第一种是基于 Eclipse 的 SDSoC™ 开发环境。这种环境能够使用 C 或 C++ 开发应用并无缝地将运行在 ARM Cortex-A9 处理器上的功能移到可编程逻辑中加速。SDSoC 环境使用高层次综合(HLS)将选定的 C 语言功能移到可编程逻辑中。在 HLS 完成连接后，就使用框架将 HLS 模块与软件应用集成。现在除了可编程逻辑中的功能加速带来的性能提升，该流程还对用户透明。功能在处理器和可编程逻辑间切换极为简便并可在 SDSoC 内通过使用项目简介进行控制。   SDSoC 项目简介 SDSoC 支持制造业常用的 Linux 操作系统，同时也支持实时操作系统(FreeRTOS)和裸机。 第二种方法由 Pynq 提供，这种方法提供基于 Python 和 Juypter 笔记本的开发框架。二者都在运行于处理器上的 Linux 发行版上执行，同时可编程逻辑有一个已定义的叠层，用于为 Pynq 上的外设提供连接。在用于支持外设和硬件叠层的 Linux 发行版内有一个已定义的 Pynq 包，该包可让我们使用 Python 直接接口外设。 因为 Pynq 提供两个 PMOD 接口，该软件包能为 ADC、DAC 等各种 PMOD 提供重大支持，简化与 Python 应用的集成。 在 Pynq 内，用许多叠层中的一个来加载可编程逻辑以实现硬件加速。除提供的基本叠层外，还存在多个开源叠层。 用户可通过借助 Web 浏览器连接到 Juypter 笔记本服务器为 Pynq 编程。连接到该笔记本电脑后，他们就能开发自己的 Python 应用并为其建立文档，以便在 Pynq 上运行。 这种使用 Python 并运用 Python 直接接口 PMOD 的能力提供了一种极为强大的开发平台。 嵌入式视觉 两种开发方法都提供使用 OpenCV 等开源嵌入式视觉框架来执行嵌入式视觉应用的能力。在 Linux 发行版支持 USB 视频类或特定摄像头(例如 ZynqBerry 支持的 Raspberry PI 摄像头)时，这些应用能够使用网络摄像头。 OpenCV 方便开发人员使用 C/C++ 或者 Python 开发，运用这一框架他们能够便捷地实现复杂图像处理算法，发挥 Zynq 可编程逻辑的加速功能，显著提升性能。 这些应用借助这一框架能处理图像，检测对象或面部等。 在需要实现简单的对象检测算法时，它们能在基于 Zynq 的平台上运行 Linux、Python 和 OpenCV。下面我们了解如何使用 OpenCV 和网络摄像头实现简单的对象跟踪系统。他们要实现的算法是： 1.从网络摄像头捕获第一帧。第一帧用作基准背景帧。他们将检测从第一帧的场景中发生的任何变化。 2.将色域从 RGB 转换为灰度。这是一种常见的图像分割技术，能用于创建二值图像。图像分割涉及数种将图像划分为多个片段(常称为超像素)的方法。通过分割，更易于分析各片段的内容。在他们的应用中，他们使用阈值化来从前景中分割出背景。这样可以生成二值图像。 3.对图像进行高斯模糊。许多用于检测对象或边缘的图像处理应用的性能受抓取的帧内存在的噪声的不利影响。在进一步处理前将图像模糊化可降低帧内的噪声。这一方法常用于图像处理，尤其是边缘检测算法(例如高斯边缘检测算法的拉普拉斯算子)。这一运算的结果即为用于检测变化的基准图像。 4.再次重复步骤1-3，从网络摄像头中捕获另一图像，从彩色域转换到灰度并在图像上执行高斯模糊。 5.计算基准帧和最近采集的图像间的绝对差。 6.对绝对差进行取阈，以创建二值图像。 7.开展形态学操作，扩大图像以放大任何差异。 8.找出二值图像中剩余的等值线并忽略面积过小的任何等值线。 9.在每个被检测出的等值线周围画一个方框，通过 HDMI 输出显示原始采集的图像。 开发人员能直接在 ZynqBerry 上或是在 Juypter 笔记本内的 Pynq 上运行结果 python 代码。他们看到的图像如下图所示，该图识别出了与基准图像的差异并用方框高亮显示出这些差异。   图像跟踪应用的结果。 这个实例体现了开发人员运用熟悉的开源框架，借助 Zynq 平台执行他们的嵌入式视觉应用所带来的强大功能和简便性。 结论 本文呈现的开发环境展现了开发人员发挥多个Zynq开发板的功能的简便性。这些开发环境让用户开发出既能在处理器内的处理内核上执行，又能使用可编程逻辑加速的设计。

    时间：2017-05-12 关键词： SoC 嵌入式开发 programmable 开发环境 all 嵌入式视觉

  • 嵌入式视觉的概念及关键因素

    嵌入式视觉的概念及关键因素

    基于视觉的系统在很多行业和应用领域中已变得非常普遍。实际上，我们中的很多人每天就携着一个嵌入式视觉系统，比如在我们的智能手机中。这些智能设备不仅能够捕获图像和录制视频，而且还能执行增强现实的应用，这些都展示了嵌入式视觉技术是如何被普遍地广为接受。 处理能力、存储器密度和系统集成度的提升，促进了嵌入式视觉在传统和新兴应用领域( 图 1所示实例)的增长。这也使得嵌入式视觉在消费类、产业和政府领域被广泛接受，因而将在十年内实现显著增长。表 1 列出了一些嵌入式视觉的高增长领域，其中有一些显而易见，有些则不是很明显。 图 1 常见的嵌入式视觉应用。 应用 示例领域 CAGR[1] 年 机器视觉 机器视觉 9.1 % 2020 超光谱成像 超光谱 12% 2019 收费系统 监视 11.1% 2020 3D 成像 高级驾驶员辅助系统、医疗 27.5% 2020 面部识别 监视 17.4% 2020 表 1 预期的嵌入式视觉高增长领域   什么是嵌入式视觉? 嵌入式视觉系统包含从所选成像传感器接收光到系统输出的整个信号链。系统输出是指从图像中提取的经过处理或未经处理的图像或信息，并提供给下游系统。当然，嵌入式系统架构师负责根据系统要求确保端到端性能。 为此，嵌入式视觉系统架构师需要熟悉与传感器和后处理系统有关的各种概念和技术。本文作为高级入门手册，旨在让读者对这些技术和概念有一个基本了解。 首先需要熟悉电磁波谱以及希望系统运行的光谱域。人眼只能看到 390nm(蓝光)至 700nm(红光)波长之间的光谱，也就是通常所指的可见光谱;成像设备凭借所采用的技术，则能捕获到更宽泛波长的图像，包括 X 光、紫外线、红外线以及可见光谱。 在近红外光谱及以下范围，我们可以使用电荷耦合器件(CCD)或 CMOS[2](互补金属氧化物半导体)图像传感器 (CIS);到了红外光谱范围，需要使用专用的红外检测器。红外光谱范围之所以需要专用传感器，部分原因在于芯片成像器(如 CCD 或 CIS)需要的激发能。这些器件通常需要 1eV 的光子能量来激发一个电子，然而在红外范围，光子能量介于 1.7eV-1.24meV 之间，因此红外成像器应基于 HgCdTe 或 InSb。这些器件需要更低的激发能量，经常与 CMOS 读出 IC(即 ROIC)配合使用，以控制和读出传感器。 最常见的两种检测器技术分别是 CCD 和 CIS · 电荷耦合器件被视为模拟器件，因此要集成到数字系统中就需要使用片外 ADC 以及所需模拟电压电平下的时钟生成功能。每个像素存储由光子产生的电荷。大多数情况下将像素排列成 2D 阵列，组成多个行，每行包含多个像素。读出 CCD 时通过行传输将每行并行传递到读出寄存器，再通过读出寄存器将每行串行读出。这个寄存器读出过程中，电荷转换为电压。 · CMOS 成像传感器能实现更紧密集成，使 ADC、偏置和驱动电路都集成在同一晶片上。这大大降低了系统集成要求，同时也提高了 CIS 设计的复杂性。CIS 的核心是有源像素传感器 (APS)，其中每个像素同时包含光电二极管和读出放大器，因此，与 CCD 不同，CIS 能够读出阵列中的任意像素地址。 尽管大多数嵌入式视觉都采用 CIS 器件，但是 CCD 仍用于非常注重性能的高端科研应用领域。本文的要点内容适用于这两种成像技术。   传感器考虑因素   选择正确的传感器需要了解系统要求，为此，必须从器件的几个方面加以考虑。 第一个要求是我们必须确定所需的分辨率，也就是每行有多少个像素，检测器需要多少行。最终应用对此起决定作用，例如，科研用的天文学应用可能需要高分辨率的 2D 器件，而工业检查成像可能仅需要行扫描方案。 · 行扫描器件在 X 方向上包含单行(有时是几行)像素。如果通过相机或目标的移动生成 Y 方向上的图像，通常采用这类器件。它们用于检查或光学字符识别 (OCR) 领域。有些领域需要采用时域积分 (TDI) 线扫描传感器。这类传感器在 X 方向包含多行，随着目标移动，像素值也从一个向下一个移动，随着电荷在时间上积分，可实现更灵敏的检测。不过，TDI 需要在行传输与目标移动之间进行同步，以防出现模糊和图像缺陷。由于只有几行需要读出，因此帧率可以非常高。 · 2D 阵列包含多个行，每行有多个像素，阵列大小是决定传感器最大帧率的一个因素。通常，为了实现更高的帧速率，2D 器件并行读出多个像素。2D 器件还能执行窗口操作(有时称为兴趣区域)，即只读出特定的感兴趣区域，以获得更高帧速率。这类器件可用于众多领域，而且信息包含在 2D 图像中，例如高级驾驶员辅助系统 (ADAS)、监控或科研领域。 确定成像器格式以及所需分辨率之后，我们还必须考虑像素间距。像素间距定义像素的大小，决定能收集多少入射光子产生的电荷。因此，较小的像素间距意味着在积分周期内(传感器暴露在图像中的时间)收集较少的电荷。如果像素间距较小，意味着捕捉图像需要更长的积分时间，这会影响传感器捕捉快速移动图像的能力，并降低低光拍照性能。 确定传感器格式后，我们必须考虑使用哪种技术，CCD、CMOS 还是更为专业的技术。这里的重要参数是量子效率 (QE);该参数是器件通过光子产生电子的效率。通常，我们希望在有用光谱上实现尽可能高的 QE，这对于低光应用也具有重要意义。影响器件 QE 的因素有三个：吸收、反射和透射。QE 降低的一个主因是器件结构。器件结构可能导致像素被传感器中的电路屏蔽，例如金属线或多晶硅栅极电路等。这些结构会吸收或反射光子，从而降低 QE，因此要选好传感器。 · 前照式 — 对于这类器件，光子以上面的介绍的传统方式照射器件的前面，像素可能被遮蔽，QE 相应降低。 · 背照式 — 这些器件经过后期处理，将器件的后部削薄，以便在后面接收光照，从而不受其他设计元件的阻挡。薄型背照式器件能实现最佳 QE。 我们还必须考虑图像传感器中所允许的噪声;有三个主要方面需要考虑。 · 器件噪声 — 这在本质上讲是暂时的，包括散射噪声以及输出放大器和复位电路产生的噪声。 · 固定图形噪声(FPN) — 呈空间分布，由相同光照强度下像素的不同响应引起。FPN 通常由每个像素的不同偏移和增益响应引起;偏移部分通常称为暗信号响应非均匀性 (DSNU)，增益部分称为图像响应非均匀性 (PRNU)。有多种方法可以补偿 FPN，最常见的方法是输出信号的相关双采样法。 · 暗电流 — 这由图像传感器中的热噪声引起，甚至在无光照情况下也会出现。暗信号对最终图像质量的影响取决于帧速率;较高帧速率下影响不大，然而，随着帧速率降低(如科研应用)影响会很明显。由于暗电流与温度有关，因此在需要降低暗电流的情况下，通常做法是利用冷却器件(例如 Peltier)来降低成像器件的工作温度。 理解了成像器的噪声模式后，我们就能确定能实现多大的信噪比 (SNR)。 确定器件的噪声性能后，就可以确定图像传感器所需的动态范围。动态范围代表传感器捕获光照强度范围较大的图像的能力，单位是 dB 或以比率形式给出。这意味着图像同时包含高照度区和暗区。 传感器的实际动态范围由像素的满井容量决定，也就是像素饱和前所能承载的电子数量。将容量除以读出噪声，能方便地将比率转换为以 dB 为单位的值。 通常利用光子转换曲线测试法来确定动态范围，画出噪声与容量的关系曲线。 如果器件具有数字输出，可通过下面的公式利用输出端比特数计算该值。 ) 然而，这并不能确保器件可以实现这样的动态范围;只是说明总线宽度所能代表的潜在范围，而没有考虑传感器性能因素。 IO 标准也很重要，不仅用来输出像素数据，还用来输出命令和控制接口。这与帧速率有关，例如 LVCMOS 接口不适合高帧速率应用，但可用于简单的监控摄像头。随着帧速率、分辨率和每像素比特数的增加，成像器件的趋势正朝着采用 LVDS 系列或 SERDES 技术的专用高速串行链路发展。 现在我们已经介绍了图像传感器的多个重要方面，另一个尚未考虑的因素是成像器是彩色还是单色传感器。无论选择哪种，都取决于应用场合。 · 彩色传感器 — 需要在每个像素上使用贝尔图形，在一条线上交替变换红色和绿色，下一条线上交替蓝色和绿色(绿色用得多是因为人眼对绿颜色波长更敏感)。这意味着要对接收到的光子进行滤波处理，使每个像素只接收具有所需波长的光子。我们可对图像进行后处理，用不同颜色围绕像素以重构每个像素上的颜色，从而确定像素颜色，而且不会降低图像分辨率。彩色传感器会使重构和输出图像所需的图像处理链变得复杂化。贝尔图形确实会导致分辨率降低，但是没有想象的那么差，通常降幅为 20%。 · 单色 — 由于图像阵列上没有贝尔图形，因此每个像素能接收所有光子。这样可增大图像灵敏度，使图像的读出更简单，因为不存在颜色重建所需的去马赛克效应。 经选择我们决定使用 CIS 器件，而实际上这些属于复杂的专用片上系统。因此，我们还必须考虑以下关于读出模式和积分时间的问题。 · 积分时间 — 这是读出之前像素的曝光时间。在比较简单的 CCD 系统上，需要接近电子装置在器件外执行该时序。然而对于 CIS 器件，积分时间可通过命令接口由寄存器来配置，然后 CIS 器件针对常用的两种读出模式精确地执行积分时间。 · 全局快门模式 — 这种模式下，所有像素同时接受光照，然后读出。此模式下由于所有像素同时读出，因此会增大读出噪声。如果要对快速运动物体拍摄快照，适合使用该模式。 · 滚动快门模式 — 这种模式下，进行逐行曝光和读出。这种模式的读出噪声较小，然而，在捕获快速运动物体方面不如全局快门模式。 系统开发 选择了合适的传感器之后，在进行系统开发的过程中还需要考虑和解决诸多挑战。 除了技术挑战以外，开发系统时还会面对时间压力，确保在既定时限内将产品推向市场。我们要根据时间限制，重点弄清楚开发过程中的哪部分活动能实现附加价值，然后做出正确选择，分清哪部分应该自己开发(增值活动)，哪部分可以购买商用现成产品 (COTS) 或者分包出去。重点关注增值活动并利用硬件、软件和 FPGA 层面的 IP 模块，是满足上市时间要求的重要促成因素之一。 除了上市时间要求，嵌入式视觉系统开发过程中还要经常考虑尺寸、重量、功耗和成本 (SWAP-C) 要求。究竟哪种要求占主导，取决于具体应用领域，例如手持设备在功耗方面就要比驾驶员辅助系统更为严格。然而，对于高级驾驶员辅助系统来说，由于要生产几百万台，因此方案成本就成了主导因素。 要在尺寸、重量、功耗和成本方面获得很好的效果，应该在传感器和处理系统中实现更为紧密的系统集成，即使用数量更少但功能更强的集成组件。 每种应用领域都具有不同增值点以及不同的尺寸、重量、功耗和成本考量，因此几乎所有嵌入式视觉系统都需要我们实现所谓的图像处理流水线。这种流水线可与所选的传感器建立接口连接，并且执行所需的操作以生成适合进一步加工或直接在网络上传输的图像。基本的图像处理流水线包含 · 照相机接口 — 接收来自传感器的原始图像 · 颜色滤波阵列 — 重建像素颜色 · 色彩空间转换 — 转换成针对编解码器的正确色彩空间。 · 输出格式化 — 与输出介质进行接口连接 在图像处理流水线中对接收的图像执行和应用算法。所实现应用不同，算法也会不同;不过，有一些常用的图像处理算法可用来提高对比度，检测图像中的特性、目标或运动，或者校正模糊图像。 应该在一个框架中开发这些算法，以便我们以最短时间将产品推向市场，并鼓励重复使用，降低非重复性和重复性工程成本。有几种现成的框架我们可以考虑使用。 · OpenVX — 用于开发图像处理应用的开源应用程序。 · OpenCV[3] — 开源计算机视觉，多个面向实时计算机视觉的库，基于 C/C++ · OpenCL — 基于 C++ 的开源计算机语言，用于开发 GPU、FPGA 等器件中常见的并行处理应用。 · SDSoC — 赛灵思的一款设计环境，借助该环境开发人员可在 Zynq 或 UltraScale+ MPSoC 器件的 ARM 处理系统中最初实现用 C/C++ 编写的算法，分析代码库特性以找出性能瓶颈，然后利用赛灵思高层次综合功能将这些瓶颈转换到硬件支持的 IP 核，并在器件的可编程逻辑 (PL) 部分运行。 采用 FPGA 或 All Programmable SoC 方案时，将这些框架与 HLS 结合使用，能够高效开发出嵌入式视觉应用，并通过硬件在闭环中快速演示。 图像经过处理流水线后，数据从系统的输出方式也很重要，我们有三种选择。 · 利用视频图形阵列 (VGA)、高清多媒体接口 (HDMI)、串行数字接口 (SDI) 或 DisplayPort 等标准将图像输出到显示器。很多电动车采用触摸式显示屏对系统进行控制和配置。 · 将图像或从图像中提取的信息传送到另一个系统，该系统像云处理应用那样使用图像或提取出的信息 · 将图像存储在非易失存储介质中，供以后访问。 对于绝大多数方式而言，在完成成像链后，我们都需要确定图像格式化方式，以便使用。此时，我们需要决定是否使用诸如 H.264(MPEG-4 Part 10 高级视频编码)或 H.265(高效率视频编码)等行业标准图像/视频压缩算法对图像进行编码，这些实现方案通常称为编解码器。编解码器能提高通信和网络带宽的使用效率，或降低实现高保真度所需的存储空间，因为编码通常存在较大失真[4]。如果因使用编解码器导致失真度无法接受，还可以按原始格式发送和存储图像，或者以无损格式进行编码。 大多数编解码器所使用的色彩空间都与图像传感器输出的色彩空间(前提是系统使用彩色器件)不同。嵌入式视觉中常用的色彩空间是： · 红、绿、蓝 — 包含 RGB 信息作为图像传感器的输出，常用作 VGA 等简单接口的输出 · YUV — 包含亮度 (Y) 和色度 (U 和 V)，该色彩空间用于大多数编解码器和一些显示标准。常用的 YUV 格式为 YUV4:4:4 和 YUV4:2:2。两种格式的区别在于：4:4:4 格式下，每像素由 8 位表示，得到 24 位像素。在 4:2:2 格式下，U 值和 V 值在像素之间共享，得到 16 位像素，可节省存储空间。 另一个对图像处理链和 SWAP-C 具有很大影响的决策是：大部分图像处理链应该在哪实现： · 在边缘，即在嵌入式视觉系统之内。这样会提高系统的功耗和处理/存储要求，但能够实现更快的响应。在边缘处理将在大部分嵌入式应用(例如高级驾驶员辅助、机器视觉等)中成为主导。 · 在云中，这需要嵌入式视觉系统捕获图像，并且利用网络技术将图像发送到云。可在云中处理的典型应用包括医疗成像或科研应用。这类应用中，处理非常密集，且不需要实时结果。 为实现处理链，处于嵌入式视觉系统核心的处理内核不仅要能控制所选的图像传感器，还要能接收和实现图像处理流水线，并通过指定网络基础设施传送图像或发送到选定的显示器。考虑到这些严苛要求，因此经常要选择 FPGA，或者越来越多的情况下需要使用 All Programmable 片上系统，例如 Zynq 器件。 Zynq 器件将两个高性能 ARM A9 处理器与 FPGA 架构相结合。这样使得处理系统 (PS) 可用来通过 GigE、PCIe 或 CAN 等接口与主机系统通信，同时执行系统的一般管理和日常事务。器件的另一半，即可编程逻辑 (PL) 可用来接收和处理图像，充分利用 FPGA 架构的并行处理特性。如果要求通过网络基础设施传送图像，那么可使用 Zynq 中的直接存储器访问 (DMA) 控制器高效地将图像数据从 PL 移动到 PS DDR 存储器。图像到了 PS DDR 存储器内，可利用所选传输介质的 DMA 控制器进一步访问。 当然，一旦图像处在 PS DDR，高性能 A9 处理器也可提供进一步的处理操作。Zynq 架构的特点在于还可将处理后的图像从 PS DDR 移回 PL 中的图像流水线。 传感器融合 很多嵌入式视觉系统还要求能够集成更多传感器数据以更好地感知环境。这包括使用很多同类传感器(同类传感器融合)扩大视场，例如高级驾驶员辅助系统的全景功能;或者整合多个不同类型的传感器(异构传感器融合)提供可见光谱下无法看到的视觉内容，例如在常规图像传感器数据上叠加红外信息。 很多情况下，需要将嵌入式视觉应用的输出与其他传感器数据进行融合，使产生的图像包含多个不同传感器的信息。最简单的传感器融合应用是将不同频谱的图像相结合，例如可见光与红外线融合以实现更好的夜视效果。 传感器融合的另一个更为复杂的用途是将成像系统、全球导航卫星系统 (GNSS)、数字地图信息以及不同波长下运行的其他传感器(例如雷达)进行融合，以确定另一辆汽车的相对位置，从而实现避撞功能。 由于要将不同系统融合在一起，并提取信息，因此传感器融合对处理器的要求会非常高。All Programmable 片上系统解决方案能够与多个传感器建立接口连接，并行处理信息，增大数据吞吐量，因而具有多种显著优势。 结论 嵌入式视觉已变得非常普遍，其市场渗透率和应用范围将在下个十年里只增不减。 在传感器和系统层面，有多个因素必须加以考虑。有多种技术、框架和器件可用来实现嵌入式视觉系统。 [1] CAGR – 复合年增长率，年同比增长率。 [2] 我们可以在图像器件上使用不同涂层，以影响它的波长性能。 [3] 请见 XAPP 1167 http://china.xilinx.com/support/documentation/application_notes/xapp1167.pdf [4] 有可能创建无损的编码应用

    时间：2017-01-24 关键词： 概念 传感器 系统开发 因素 技术前沿 嵌入式视觉

  • Xilinx推出开发者专区，加速嵌入式视觉创新

    All Programmable技术和器件的全球领先企业赛灵思公司今日宣布推出面向软件、硬件及系统开发人员的嵌入式视觉开发者专区，以帮助他们加速生产力并打造 All Programmable的差异化嵌入式视觉应用。通过嵌入式视觉开发者专区，赛灵思为开发人员快速启动开发下一代视觉系统提供了一个“一站式平台”，帮助他们充分利用基于机器学习技术的传感器融合、高级计算机视觉算法以及对象检测与分析功能等。 嵌入式视觉开发者专区的核心是庞大而丰富的工程设计资源，包括软件开发优化库、硬件开发人员视觉IP、项目，以及赛灵思及其联盟计划成员和社区开发人员所提供的各种教程。所有开发资源都适用于赛灵思FPGA和All Programmable SoC器件，包括Zynq®UltraScale+™MPSoC(其将4个ARM® Cortex™-A53 APU、2个ARM Cortex-R5实时处理器、1个ARM Mali™-400 MP2 GPU、1个支持4Kp60分辨率的HEVC视频编解码器、可编程逻辑和可编程接口)。 嵌入式视觉联盟的创始人Jeff Bier表示：“产品开发人员正加速采用嵌入式视觉技术。从智能监视摄像头到无人驾驶汽车，几乎所有地方、所有东西都需要“看见”的视觉功能。在严格的成本和功耗预算条件下添加视觉功能，这对嵌入式视觉开发人员提出了独特的挑战。为他们提供一个专区，让他们能够找到与他们的应用相关的大量资源，这是帮助更多开发人员应对这些挑战的重要一步。”

    时间：2016-12-01 关键词： Xilinx 嵌入式视觉

  • Xilinx为嵌入式视觉和工业物联网等广泛应用扩充成本优化型产品系列

    Xilinx为嵌入式视觉和工业物联网等广泛应用扩充成本优化型产品系列

    All Programmable 技术和器件的全球领先企业赛灵思公司(Xilinx, Inc. (NASDAQ:XLNX))宣布，为包括嵌入式视觉和工业物联网等在内的广泛应用扩展其成本优化型芯片产品系列，包括其 Spartan®，Artix®和Zynq®系列，旨在满足下一代应用对于任意互联、传感器融合、精确控制、图像处理、分析、安全性与保密性的需求。 当今的嵌入式视觉和工业物联网应用需要收集、整理并分析来自众多不同传感器的数据，从而提供切实可行的信息把握。不管是调整厂房多传感器摄像头的功能，还是开发一个基于传感器融合的具有创新制导系统的智能无人机，设计者都能利用赛灵思FPGA和SoC产品来构建部分或者整个系统。 赛灵思FPGA和SoC产品管理和市场营销高级总监Kirk Saban指出：“通过新扩充的成本优化型产品系列，赛灵思再次加强了其针对成本敏感型应用提供全方位解决方案的承诺。我们最新扩充的产品系列包括Spartan-7系列、更多的Artix-7产品和Zynq-7000单核器件，以更低的成本提供了业界最佳功耗性能比解决方案，以及具有更高扩展能力的处理器。” 最新Spartan-7系列是业界唯一采用8x8mm封装的28nm FPGA，成就了该产品组合中最具成本效益的互联解决方案，能满足传统和尖端接口要求，同时能以超小尺寸实现最高功耗性能比传感器融合和高精度控制。 新增的Artix-7器件扩大了该系列在收发器和信号处理性能方面的业界领先优势。该系列新型FPGA在多传感器嵌入式视觉领域提供了同类最佳的图像处理带宽，而且能以较低密度实现更高的功率效率。 新型Zynq-7000 All Programmable SoC单核器件让工程师能够以更低成本获得基于ARM®处理器的全面可扩展的Zynq-7000 All Programmable SoC 平台，并为分析功能和云端互联提供了成本优化的单芯片解决方案。该产品系列均采用多层级安全性与保密性方法，其中包括处理器驱动式安全启动和最新一代比特流加密认证技术，从而可满足物联网安全领域日益严重的网络安全要求。这些新的产品扩充了最近公布的双核CG MPSoC产品系列，为单核到28nm工艺节点的双A9核，再到16nm工艺的双A53核提供了从单核到双核的备选方案。 上述增强型成本优化的产品系列，将得到即将推出的Vivado® Design Suite 2016.3(面向以IP 和系统为中心的设计和实现)以及赛灵思SDx™软件定义设计环境的支持，可以同时助力软件和硬件开发人员满足成本敏感型市场严格的设计进度要求。免费的VivadoDesign SuiteWebPACK™版本、Vivado Design和System版本，都可以支持所有新型Spartan-7系列、Artix-7 FPGA和Zynq-7000S系列器件，支持用户利用这些新型的器件立即着手开发。

    时间：2016-09-29 关键词： 工业物联网 嵌入式视觉

  • Xilinx 拓展生态系统和平台强化嵌入式视觉和工业物联网产品组合

    Xilinx 拓展生态系统和平台强化嵌入式视觉和工业物联网产品组合

    21ic讯 All Programmable 技术和器件的全球领先企业赛灵思公司(Xilinx, Inc.)今天宣布通过拓展生态系统和硬件平台进一步扩大了其面向嵌入式视觉和工业物联网市场的产品组合。此次发布强化了赛灵思于2015年公开推出的赛灵思最新16nm Zynq® UltraScale+™ MPSoC和软件定义SDSoC™开发环境。这些新产品、开发环境加上更为庞大生态系统的完美组合，让赛灵思客户能够在快速发展的嵌入式视觉和工业物联网市场中， 开发出高度差异化和高度灵活的应用。 在本周正在举行的 2016年世界嵌入式大会上，赛灵思及其生态系统展示了用于嵌入式视觉和工业物联网应用的最新Zynq UltraScale+MPSoC产品、SDSoC开发环境以及各大生态系统所打造的丰富产品，其中包括： · 操作系统：实时和应用级操作系统均有提供，用于支持 Zynq UltraScale+ MPSoC 中的 ARM® Cortex™ A53应用处理器核和硬化实时ARM R5 内核。业界领先的操作系统提供商包括 eSOL、FreeRTOS、 Green Hills、Mentor Graphics、Micrium、Wind River 等。 · 软件库：Auviz、MulticoreWare、TERADEEP等赛灵思联盟成员提供了更为丰富的软件库。这些库为深度学习提供了关键构建模块，支持需要在边缘和云中使用高计算强度算法的图像和视觉处理。 · 知识产权 (IP)：提供了下列不同类别的高价值硬件设计IP： o 工业以太网：Beckhoff、Bernecker&Rainer、HMS和SoCe o 功率变换和运动控制：QDesys o 视频/连接：Digital Design 公司、iVeia、OKI IDS、 Omnitek、Sensor to Image、TED inrevium、 赛灵思和Xylon o 编解码器：A2e、Barco Silex、CoreEL、IBEX、intoPIX、PathPartner和SOC Technologies · 设计服务：越来越多的全球设计服务合作伙伴可提供端到端解决方案的专业能力。这些合作伙伴包括：A2e、Adeas、CoreEL、DDC、DornerWorks、Fidus、Ikerlan、iVeia、Knowledge Resources、MLE、HCL、OKI IDS、Omnitek、 QDesys、Sysgo、TED inrevium、Topic、V3 Technology、赛灵思和Xylon。 · 硬件平台和SOM：针对SDSoC开发环境现可提供丰富的硬件平台和SOM。提供商包括：Avnet、Digilent、iVeia、Knowledge Resources、Sundance、TED inrevium和V3 Technology。其他SOM提供商包括AlphaData、Coherent Video Systems、DAVE、Enclustra、Image Matters、 Shenzhen MYIR Tech和Trenz。 供货情况 如需了解赛灵思的更庞大的生态系统，敬请访问精选联盟计划合作伙伴页面。

    时间：2016-02-26 关键词： Xilinx 工业物联网 新品发布 嵌入式视觉

  • Imagination嵌入式视觉应用发展

    受访人：Imagination Technologies多媒体技术市场营销总监Peter McGuinness 1. 问：一般来说，嵌入式视觉涉及广泛的各种应用。你认为有哪些市场特别适合嵌入式视频应用? 答：市场对嵌入式视频产品有巨大需求，而且正持续成长——同时，下一代的电脑视频技术已为各种广泛的新型应用奠定基础，从汽车和安全、到消费类电子与零售等各行业等都涵盖在内。 归功于低功耗并行处理器的广泛应用、3D传感器的日渐普及，以及活跃的算法开发人员生态系统，现在，很多嵌入式设备都能够以按需的方式来分析环境，或是保持连线状态，随时进行环境资料的感应获取。 嵌入式视频的消费类应用案例包括运算摄影学、增强现实、手势控制和场景理解(scene understanding)。今天，很多手机都能通过侦测脸部来自动调整相机焦距与曝光。 在汽车市场，为电动车增加电脑视觉功能可减少并避免意外事件的发生。今天，许多制造商可提供先进驾驶辅助系统(ADAS)，采用视觉数据以及雷达和LIDAR(光达)等传统技术来实现盲点侦测、行人侦测与自动紧急刹车等重要的安全功能。汽车制造商已开始在快速扩展的安全应用中采用基于相机的技术。Mobileye这类的芯片厂商正在开发专属的解决方案，能够即时“解读”场景，并为驾驶员提供基于分析结果的立即评估。 在监控市场，为安全摄影机增加嵌入式视觉功能可降低CCTV厂商的成本，并提高可靠度。例如，通过使用先进的人群分析算法，通过侦测人群中走路行为的细微改变，可找出隐藏武器等物品的存在。 在消费类市场，像Nest公司开发的安全产品，它能在侦测到家中有人影走动时通过智能手机通知使用者，并能过滤掉墙上阴影移动或窗外树木摇晃等不重要的信息。 在超市这类一直依赖支付和商店会员卡来追踪消费者行为的零售环境中，也开始利用电脑视觉来发掘新的客户商机。Vadaro等厂商开发的零售摄影机能辨认出商店里的客人是新客户还是老顾客，估算他们的年龄、性别、逗留时间以及关注的产品。除了为零售厂商和广告商提供有价值的反馈之外，这些摄影机还能通过计算排队人数等自动操作方式来提升客户服务。 2. 问：此外，您可提供哪些IP解决方案来满足嵌入式视觉设计的市场需求? 答：通常，视频应用处理器会包括：用来获取图像传感器数据的图像信号处理器(ISP)、可有效运行像素数据平行运算的向量处理器，如GPU以及用来制定高端决策的CPU。一台传感器融合设备会进一步将视觉处理与雷达、超声波、声纳和LIDAR等互补技术，以及来自指南针、加速器和轮型光学编码器等数据输入结合在一起。 Imagination可提供所有所需的硬件元件，来打造新型的高效视觉产品，包括： · 图像信号处理器：PowerVR Raptor ISP能运行许多通用的图像预处理操作，包括噪音消除和色值标准化。 · 向量处理器(GPU)：PowerVR GPU是高性能的向量处理器，能以低功耗有效运行许多的数据平行运算。例如，百度的工程师可在一台内置Imagination-based联发科SoC的手机中，将卷积神经网络(convolution neural network)从CPU卸载到PowerVR GPU，以提升匹配性能并延长手机的电池寿命，从数小时到一天都不用充电。 · 加速器：除了支持高效的向量处理，PowerVR GPU还能提供多个硬件加速器，包括纹理处理单元(TPU)和色域转换单元，这些都能被视觉算法所运用。 3. 问：市场上有各种嵌入式视觉系统解决方案，包括DSP、GPU和FPGA。您认为哪一种比较好? 答：没有一种解决方案是比较好的，它们各有不同的目标市场与应用。然而，随着视觉应用在消费市场逐渐成熟，我们预期，除了你提到的这些技术之外，将会有更多最优化、且专门的解决方案出现。

    时间：2015-12-08 关键词： imagination 嵌入式视频 嵌入式视觉

首页  上一页  1 2 下一页 尾页
发布文章

厂商动态

技术子站

更多

项目外包

更多

论坛活动

更多

资料下载

更多

技术专题

更多

编辑原创

更多

评  测

更多

公 开 课