当前位置：首页 > 视觉处理

  • Pixelworks视觉处理技术赋能一加9系列智能手机，帮助一加巩固了在智能手机的显示领导地位

    2021年3月24日——提供业界领先的创新视觉处理解决方案提供商——Pixelworks, Inc.携手全球领先的智能手机制造商一加于今日共同宣布，最近推出的一加9 Pro旗舰智能手机集成了Pixelworks X5 Pro视觉处理器。该处理器使用独特的行业领先的MotionEngineTM技术，优化了可变高刷新率显示。此外，所有的新旗舰9系列手机，包括一加9，均集成了Pixelworks专利且行业领先的色彩校准技术、肤色保护、色偏校正、以及环境光和色调自适应显示创新技术，包括动态、超平滑屏幕亮度控制。 在Pixelworks X5 Pro处理器的支持下，全新一加9 Pro智能旗舰机配备了6.7英寸流体LTPO AMOLED显示屏，WQHD+分辨率和可变刷新率高达120Hz。其先进的显示技术，外加哈苏48MP后置摄像头，配备7.5 Gbps 5G调制解调器的高通® 骁龙TM 888移动平台，使一加 9 Pro将现有的视觉体验提升到意想不到的新高度。无论是观看用手机自带哈苏相机拍摄的图片和视频，还是浏览流媒体内容或短视频，Pixelworks视觉处理技术都能在各种环境光照条件下提供完美的色彩再现、卓越的显示质量和眼睛舒适感。 一加创始人兼首席执行官刘作虎表示：“我们的一加9 Pro智能手机旨在通过采用搭载了Pixelworks技术的业内最先进的显示屏以及久负盛名的哈苏品牌相机，提供终极的智能手机视觉体验。我相信一加9系列手机提供了业界迄今为止最引人注目的相机性能，这将不会被消费者忽视，因为他们在我们最新的6.7英寸AMOLED流体屏上再次体验高光时刻。我们期待在与Pixelworks的战略合作中继续将智能手机的视觉质量提升到新的高度，非常高兴我们在全球范围的客户群体不断壮大。” Pixelworks总裁兼首席执行官Todd DeBonis表示：“凭借全新一加9系列，一加在高端手机中采用Pixelworks最先进的高帧视觉处理技术，从而在提供无与伦比的显示性能方面继续成为行业领跑者。我们与一加的合作涉及端到端显示性能所有关键方面的全面优化。去年，凭借这一努力以及首款120Hz流体屏的质量，一加成为业界公认的少数名副其实的旗舰品牌之一。一加在一加9 Pro智能手机的摄像头和显示屏这两方面投入了资金，一加9 Pro很有可能成为2021年的顶级旗舰手机。” 除MotionEngine™技术仅用于一加9 Pro中之外，以下Pixelworks功能均用于所有一加 9系列智能手机中： · Dual MotionEngineTM 技术 - 一加9 Pro采用Pixelworks专利的MotionEngine技术，优化可变刷新率支持高达120Hz，以确保广泛的视频内容的自然、预期的运动外观，其中包括流媒体电影、直播电视、体育、短视频和其他动态多媒体和社交内容。 · 自适应显示 - Pixelworks技术利用手机的光线和RGB传感器自动适应显示屏的亮度和色调，匹配环境光和色温，从而保证清晰度、减少蓝光、并为在不同的观看环境中观看电影或阅读和玩游戏的用户带来眼睛舒适度。 · 绝对色彩准确性 - 每部OnePlus 9系列智能手机显示屏均已在出厂时通过Pixelworks专利的高效校准软件进行了校准，并运行了Pixelworks的色彩管理软件，为sRGB和DCI-P3色域的所有应用程序和内容提供行业领先的色彩准确性。 · 真实的肤色 - 校准后的Pixelworks解决方案可纠正和保护所有显示模式的肤色准确性，呈现所有内容中人物的逼真肤色，无论是照片中、手机拍摄的视频中、电影和电视中还是其他媒体中的人物。 · 平滑亮度控制 - 在昏暗的观看环境中，这种经过微调的自动亮度控制可实现前所未有的8,192级亮度，实现超平滑的显示亮度过渡。 · 色偏校正 - 作为显示调整过程的一部分，此功能通过校正低亮度下AMOLED面板上发生的色偏，确保了整个屏幕色彩即使在低亮度下的准确性。 Pixelworks拥有20多年的视觉和图像处理经验，并且作为好莱坞获奖的运动处理行业领导者已经为智能手机提供了其专利的运动估计运动补偿(MEMC)技术---该技术对内容进行了多层次的内容特定优化，从而为众多内容、视频格式、帧率和多媒体应用程序呈现卓越的视觉效果。一加9 Pro智能手机中使用的Dual MotionEngineTM技术 (最初已应用于一加 8 Pro上)已针对移动设备进行了优化，为高刷新率显示屏保持自然、预期的运动外观，同时与公司上一代运动处理解决方案相比，其功耗降低高达50%。

    时间：2021-03-25 关键词： Pixelworks 一加 视觉处理

  • ADAS普及进行时，多平台支撑护航汽车驾驶

    ADAS普及进行时，多平台支撑护航汽车驾驶

    　　高级驾驶员辅助系统（ADAS）在未来几年将出现大幅增长，主要原因之一是安全意识的增强，以及客户对驾乘舒适度要求的提高。但是， 最重要的原因是，欧洲新车安全评鉴协会（NCAP）加强了安全要求，这将促使ADAS设备安装率从个位数上升到几乎100%。因此，可商 业化运行的解决方案无疑已是当务之急。 　　在汽车产业不断提高安全性的趋势下，车辆需要整合越来越多的外围摄影传感器和智能图像处理技术，以便实现ADAS，如车道偏离警告、碰撞避免、盲点监视、先进的倒车摄影以及具有物体识别功能的周边环境观察系统等。制造商想要创建完全安全的驾驶环境这一共同目标推动着这一趋势的发展。 　　这些系统面临的挑战在于需要建立这样一个平台：能够保持这些计算密集型应用要求的处理性能，只需消耗较低功率以避免散热问题，能够提供整合商愿意采用的高成本效益解决方案，并且系统尺寸要小，能使系统“大脑”与影像传感器共处一地，并装配进智能摄影机（如果要求的话）内。共存于传感器上的图像处理可构成系统解决方案，在这种系统中，相同的智能摄影平台可应用于车辆的不同位置，如后保险杆——实现具有物体/人体检测功能的增强型倒车摄影机；反光镜——用于实现盲点监视；后视镜背后——用于实现前向碰撞和车道偏离警告；以及其它外围摄影机——用于周边环境观察。此外，这种分布式智能摄影模型不会因额外处理要求而加重汽车中央控制台的负担。 　　ACC平台极具潜力 　　ADAS技术可以采取的动作，包括被动式警报或者复制信息，提醒驾车者注意异常的车辆或者道路情况。但是，对于最新一代ADAS设备来说，主动式干预也很常见。 　　目前应用比较广泛的ADAS技术是自适应巡航控制，采用激光或雷达系统来探测前面是否有车及其车速，扩展了原来的基本巡航控制功能。如果ACC发现前面有车而且速度较慢，该系统就调整速度以保持安全距离。 　　作为一种平台，ACC拥有很大的长期潜力。通过添加撞车警告、减缓力道和与避让等应用，它可以应对许多事故类型。 　　基于视觉的ADAS系统望率先普及 　　ADAS三大主流应用之一的车道偏离警告（LDW）技术可监测汽车在车道内的横向运动，当汽车可能超过车道线时，向驾车者发出警告。这种系统技术就是基于视觉（摄像头）的ADAS系统的一种具体实现。 　　事实上基于视觉的ADAS通过发挥摄像头识别作用，可以从多方面大大提高行车安全性。通过安装后视/前视/侧视摄像头和视觉处理ECU，可以实现多种功能来帮助驾驶员提前防范风险。研究报告称，目前有70%的汽车具备后视功能，30%的高档汽车具备前视功能，到2015年这一比例预计会达到60%，因此基于视觉的ADAS会比基于雷达的ADAS系统（更侧重在目标检测）更快地在中低端汽车市场普及开来。 　　两大发展趋势 　　无论是正常驾驶或在危险环境中驾驶，目前市场上多数驾驶辅助系统都是通过提供附加信息来帮助司机的，如下图所示。在上述两种情况中，系统都能够帮助减少碰撞事故的发生。高级驾驶辅助系统未来有两种发展趋势： 　　主动和被动安全：未来的发展趋势 　　趋势1：从预警系统到干预系统都发生了一些变化。ADAS目前主要职责是在危急情况下提醒司机，比如盲点检测系统。系统未来将会向干预系统发展，即在限定的情况下对汽车进行控制。比如摄像系统将会从车道偏离预警系统向车道控制系统发展。 　　趋势2：将主动安全与被动安全系统结合起来。目前，碰撞中的被动安全系统与主动安全ADAS是相互独立的，比如安全气囊和预缩式安全带。它们之间没有相互的联系，比如在机载激光雷达、雷达或视频传感器监测到不可避免的碰撞时就让安全气囊做好准备。目前机载激光雷达传感器用于主动式巡航控制系统，能够在正常驾驶状态下为司机提供支持。未来，这些传感器将会与短程雷达（24GHz）和摄像机相结合，以便为安全气囊和预缩式安全带提供相应的准备信息。 　　在过去的几年中，ADAS的市场已经开始蓬勃发展。目前，以舒适性为导向的系统（如ACC）主要应用在中级或豪华轿车上。未来，这些系统将会被涵盖到安全系统当中，并且在经济型轿车中得以应用。

    时间：2020-09-01 关键词： acc adas 视觉处理

  • 新芯片架构瞄准深度学习和视觉处理

    新芯片架构瞄准深度学习和视觉处理

    　　当「深度学习」不仅热门，而且还趋近于技术成熟曲线的「沸点」时，对于另一波瞄准深度学习、视觉处理的新创公司如雨后春笋般出现，也就一点都不令人惊讶了。 　　这次是一家称为ThinCI（发音为‘Think-Eye’）的公司，由一位出身英特尔背景的资深工程师/架构师Dinakar Munagala创办。 　　然而，令人惊讶的是，这家位于美国加州的新创公司不仅有资本雄厚、拥有技术专精的大厂支持，而且还提供了一种独特的「大规模平行架构」，Munagala称其为「专为视觉处理和深度学习而生「。 　　Munagala承诺，相较于其它深度学习/视觉处理方案，该公司目前专利申请中的芯片架构可以带来「两个数量级的性能提升」。 　　从一座车库开始，并以有限的资金熬过6年之后，ThinCI在上个月公开亮相。该公司最近还吸引了两家大型一线汽车供货商成为其机构投资者，而且还有一批在技术领域声誉显赫的大厂成为其私人投资者。 　　这两家汽车供货商分别是DENSO InternaTIonal America， Inc.，以及Magna InternaTIonal Inc.。私人投资者包括ThinCI董事会主席和Tallwood Venture Capital的管理合伙人Dado Banatao、英特尔架构部门前执行副总裁、总经理Dadi Perlmutter、巴斯夫（BASF）监事会主席和戴姆勒（Daimler）监事会成员Jurgen Hambrecht以及其他几位背景雄厚的资深人士。 　　简单、灵活 　　他们为什么投资ThinCI？Perlmutter认为，「在整个职业生涯中，我非常欣赏简单和灵活性。我并不喜欢一些蛮横粗暴的方法，但着重于研究新运算问题的瓶颈，并且经由寻找新途径发现克服瓶颈的方法。ThinCI就是这么做的。」 　　当其它解决方案受限于数据的移入与移出，只为了填饱「饥饿」的巨大运算引擎时，Perlmutter形容ThinCI运算是一种「专为深度学习量身打造的绘图分析法，省去了大量不必要的内存存取程序。」 　　而其最终的结果如何？「它不仅加快了指令周期，而且降低了成本和功耗，」他补充说。 　　Munagala说自己从六年前开始，就怀抱着开发一种新芯片架构，以满足下一代技术（如深度学习）需求的梦想，因此毅然决然地离开英特尔。 　　然而，ThinCI并未透露其处理器架构细节，而仅称其为「一种革命性的绘图串流处理器」 （Graph Streaming Pocessor）。Munagala解释，它是指「一种大规模的平行架构，专为同时处理任务图形的多项运算节点而设计。」 　　深度学习本质上是以一组算法为基础，透过具有多个处理层、由线性与非线性交易组成的深度绘图，尝试在数据中建模高层级抽象。 　　ThinCI架构的独特之处似乎就在于其处理深度绘图的方式。 　　Munagala解释，「ThinCI架构利用极端平行为整个绘图任务串流数据，」取代以多个处理层透过深度绘图连续处理数据的方式。 　　正如Perlmutter所说的， ThinCI处理器架构的另一个关键要素是可编程性「。他解释说，许多人犯了针对特定方案进行硬件客制的错误，而历史教训是：问题是不断变化的，而程序设计人员拥有巨大的创造力。Perlmutter表示，ThinCI需要的是一种「对处理器进行编程以实现可不断发展新方案的方法。」 　　很显然地，这正是ThinCI所提供的。Munagala指出，设计人员「在使用业界标准API的同时，也受益于独特的编程方法。这使其简化打造为其处理器优化的深度网络。 　　相较于市场上的其它处理器，Munagal以GPU为例指出，「尽管GPU已被用于深度学习（如Nvidia），但它并非为数据分析而设计的。它在视觉处理方面的效率不高，而且不仅功耗高、还需大量的内存。」DSP的问题则是编程的效率低且复杂。 　　那么，硬线组件如何？也不可行！因为对固定方案来说，用于深度学习的算法变化太快。 而CPU「仅适于通用目的」，因为它的效能不佳且功耗过高。 　　芯片上绘图执行 　　相形之下，ThinCI的视觉运算引擎独到之处在于它提供了「芯片上绘图执行」（on-die graph execuTIon）。它是专为加速卷积神经网络（CNN）、深层神经网络（DNN）和其它复杂算法而设计的。更重要的是，该公司表示，来自摄影机传感器的资料「储存和处理都在芯片上完成，而无需DRAM存取。」 　　图1：ThinCI的视觉运算引擎（VISCEN）硬件架构 来源：ThinCI 　　因此，Munagala认为，相较于其它的处理架构，ThinCI的视觉运算引擎可以带来更高性能、更低功耗、可编程性以及更少内存占用。 　　当然，视觉处理SoC市场已开始出现一些新的处理器。例如。最近被英特尔收购的Movidius就是一个很好的例子。它提供专为嵌入式市场设计的视觉处理器。 　　针对目前在深度学习中使用的架构，Munagala说：「就性能/体积、性能/功耗指针来说，ThinCI的解决方案更高出了13倍。」更重要的是，「就架构来说，我们的方案更具前瞻性，它能解决其它架构无法解决的问题。」他同时还强调「简单编程模型」的重要性。 　　获一线汽车供货商青睐 　　从两家大型一线供货商投资ThinCI来看，清楚地反映了三件事：第一，汽车产业对视觉处理和深度学习技术的巨大需求（他们认为尚未看到全貌）；其次，对于让自动驾驶成为现实的坚定承诺；最后，一线厂商特别需要看到技术上的突破，让他们有足够的筹码与新贵金主平起平坐地谈判。 　　只需看看去年7月宣布成立的Mobileye/Intel/BMW联盟。很显然地，一线供货商都缺席了。 　　「DENSO一直在研究计算机视觉处理领域的新发展，而我们对ThinCI的投资更展现了坚定信念，即ThinCI的技术将很快成为下一代自动驾驶系统的关键组件——未来的新系统需要先进的运算技术结合深度学习能力，」DENSO创投总监Tony Cannestra在一份声明中说。 　　Magna技术长Swamy Kotagiri也表示：「我们很高兴能结合ThinCI在处理和软件领域的强项，以及Magna对于汽车系统的整体理解。 　　在汽车市场之外 　　ThinCI并不仅着眼于汽车市场。毕竟，汽车领域的进展一向十分缓慢，特别是考虑到在最终生产前必须进行的所有测试和认证。但这对在其它领域寻找近期机会的任何新创公司都意味深长。 　　Munagala解释，视觉处理和深度学习应用「可以应用在任何地方」，从自然用户接口到监控摄影机甚至白色家电。 　　Perlmutter同意这样的看法。「汽车只是深度学习的一类应用，但深度学习却可因应大量的新问题类型。 　　他解释说，「创造适用于所有类似人类行为的适应性方案，包括从视觉、语音，一直到巨量数据收集的优化算法，以及复杂的BOT与辅助等。 　　Perlmutter认为，深度学习成效卓著，特别是「当我们从智能型手机转移到增强实境（AR）类装置时。」他说，「我们与AR装置的互动，以及需要它提供的复杂程度（在办公室、制造厂房和旅途中），将远远超越当今与智能型手机互动的笨拙方式。」 　　值得庆幸的是，ThinCI在嵌入式市场的优势在于其视觉运算引擎具有很高的可扩展性。 Munagala说：「我们能因应从可穿戴式装置到内建通用软件堆栈的服务器等领域的多样化市场。」 　　图2：新兴应用需要新的视觉处理技术 来源：ThinCI 　　时间表 　　根据ThinCI，其视觉运算引擎架构「已在2015年告一段落，其测试芯片也已经完成验证了。」该公司目前正筹措资金以实现计划于2017年启动的首次芯片生产。从今年初开始，ThinCI已经完成其软件工具套件的beta测试。 　　ThinCI的投资者对于该团队所提供的成果也信心满满。巴斯夫监事会主席和戴姆勒监事会成员Jurgen Hambrecht表示，由于「ThinCI拥有杰出的团队和能力」，让他决定了个人投资。 　　Hambrecht更看好的是，「ThinCI将为多样化的产业应用带来突破性的硬件软件。」

    时间：2020-08-21 关键词： 深度学习 芯片架构 视觉处理

  • 基于S32V来实现人脸识别的应用

    基于S32V来实现人脸识别的应用

    汽车行业ADAS功能需求日益增长，防疲劳驾驶是一个热门方向，对于驾驶员状态的检测，人脸识别是基础，只有快速准确地识别到人脸，才能对人脸状态进行分析。本文将介绍基于S32V来实现人脸识别的应用。 一、S32V视觉处理平台 NXP于2015开始推出S32V平台，现在已经推出了第二代型号S32V234，第三代目前已经在样品阶段，该平台定位为ADAS视觉处理，提供了视觉系统应用所需的性能和功能。 对于图像处理，S32V具有自己的特色，硬件方面：具有两路CSI和两路并口摄像头接口，提供了可图形化编程的ISP、APEX，以及3D渲染的GPU。其中可编程的ISP可以对通过CSI输入的摄像头图像数据进行处理，支持HDR、颜色转换、色调映射等。APEX提供了并行图像处理的能力。还提供了H264硬件编解码等，基本覆盖了图像处理所需要的硬件资源。 软件方面：提供了VSDK，包含S32V平台的各个外设驱动，并配有相关例程。API方面提供了OpenCV、FFmpeg、OpenCL、OpenGL、EGL等常用图像处理相关库。 图1 S32V内部框图 二、人脸识别方案介绍 采用索尼的IMX224摄像头作为图像输入，移植人脸识别库，建立演示demo将检测到的人脸实时用方框标记出来。 1. 方案框图 图 2 人脸识别方案框图 2. Demo搭建 获取摄像头数据 首先，基于VSDK实现iMX224摄像头的数据获取。通过NXP提供S32 Design Studio for Vision Version软件建立iMX224的ISP处理流程，如下图所示。 图 3 ISP处理流程 这里通过运行在IPUS0中的debayer_rgb_simple_interleaced，实现了摄像头Debayer数据转RGB，然后通过FDMA传输到DDR中供算法调用。如果对于图像有特殊要求的，可以自己建立对应的IPUS核，对图像数据进行相关处理。  交叉编译相关库 移植人脸识别算法库，该库基于NCNN神经网络上搭建人脸识别系统，依赖的库有OpenCV、NCNN以及Sqlit3。这些库需要交叉编译，其中OpenCV和Sqlit3的ARM版S32V已经提供不需要再进行编译，编译后的NCNN和人脸识别算法库都是静态库，不需要拷贝到目标板上。 人脸检测demo 通过Qt来实现界面显示，首先在pro文件中添加VSDK中获取摄像头数据的相关库，算法移植的相关库，然后通过如下API接口获取图像数据。 int getCImg（cv：：Mat &cimg）; 再调用如下接口进行人脸检测： void detectMaxFace（ncnn：：Mat& img_， std：：vector《Bbox》& finalBbox）; 3. Demo效果 最后将检测结果通过Qt界面显示出来，如下图所示。 图4 人脸检测结果 通过测试，人脸检测耗时如下所示：  

    时间：2020-05-16 关键词： 人脸识别 adas 视觉处理

  • 瑞萨电子与StradVision合作开发下一代ADAS智能摄像头

    瑞萨电子与StradVision合作开发下一代ADAS智能摄像头

    2019年9月26日，日本东京、美国加州圣何塞讯-全球领先的半导体解决方案供应商瑞萨电子株式会社，与具备深度学习专业知识的自动驾驶视觉处理技术解决方案提供商StradVision今日宣布联合开发基于深度学习的视觉处理解决方案，用于下一代高级驾驶辅助系统(ADAS)的智能摄像头，适用于ADAS Level 2及以上级别。为了避免在城市地区发生的常见危险，下一代ADAS需具备高精度视觉处理能力，能够检测出行人和骑行者等所谓弱势道路使用者(VRU)。同时，对于大众市场的中低端车辆，这些系统必须实现非常低的功耗。瑞萨与StradVision的全新解决方案同时实现了这两个目标，旨在加速ADAS的广泛应用。瑞萨电子汽车技术客户合作事业部副总裁吉田直树表示：“作为视觉处理技术的领导者，StradVision在应用瑞萨R-Car SoC开发ADAS解决方案方面拥有丰富经验。通过此次合作，我们带来了量产级解决方案，面向未来打造安全和精准的移动性能。这一基于深度学习的全新合作解决方案针对R-Car SoC进行了优化，将有助于下一代ADAS的广泛采用，并可支持未来几年内不断提升的视觉传感器要求。”StradVision首席执行官Junhwan Kim表示：“StradVision很高兴能够与瑞萨联手，帮助开发人员有效推进ADAS的下一次重大飞跃。这一共同努力不仅可以转化为快速有效的评估方案，而且将大大提升ADAS的性能。未来几年中，预计前置摄像头市场将会大规模增长，StradVision和瑞萨联手打造优势技术，无疑将保持双方在该领域的领先地位。”StradVision基于深度学习的视觉处理软件为车辆、行人和车道的识别等提供了高性能。该高精度视觉处理软件已针对瑞萨R-Car汽车片上系统(SoC)产品R-Car V3H和R-Car V3M进行了优化，而R-Car系列产品已在量产车型中拥有良好的应用业绩。以上R-Car系列产品搭载了CNN-IP(卷积神经网络知识产权)深度学习处理专用引擎，使其能够以最低功耗高速运行StradVision的SVNet汽车深度学习网络。此次合作开发的视觉处理解决方案实现了基于深度学习的视觉处理能力，同时保持了低功耗，使其适用于量产车辆，进而推动ADAS的采用。基于深度学习的视觉处理解决方案的关键特性：(1) 解决方案同时支持早期评估及量产车型StradVision的SVNet深度学习软件是一款强大的AI感知解决方案，用于量产的ADAS系统。它因在弱光环境下的识别精度和识别对象被其它物体部分遮挡时的处理能力而备受关注。R-Car V3H的基本软件包可同时执行车辆、人员与车道的识别，以每秒25帧的速度处理图像数据，实现快速评估和POC开发。以这些功能作为基础，如果开发人员希望通过添加符号、标记和其它物体作为识别物体来定制软件，StradVision可为基于深度学习的视觉处理提供支持，面向量产车辆，涵盖从培训到软件嵌入的所有步骤。(2) R-Car V3H和R-Car V3M SoC在降低成本的同时提升了智能摄像头系统的可靠性除了CNN-IP专用深度学习模块，瑞萨R-Car V3H和R-Car V3M还搭载了IMP-X5图像识别引擎。将基于深度学习的复杂物体识别与高度可验证的图像识别处理同人为规则相结合，使设计人员能够构建一个强大的系统。此外，方案还设计了片上图像信号处理器(ISP)对传感器信号进行转换，用于图像渲染和识别处理，从而可以采用无内置ISP的低成本摄像头进行系统配置，以降低BOM成本。供货信息采用全新联合开发的深度学习解决方案的瑞萨电子R-Car SoC(包括StradVision的软件与开发支持)，计划于2020年初向开发人员供货。

    时间：2019-09-26 关键词： adas 智能摄像头 视觉处理

  • 嵌入式系统中的视觉处理技术怎样选择

    嵌入式系统中的视觉处理技术怎样选择

    嵌入式系统可以是任何基于微处理器的系统，它们完成特定的工作，且随处可见，例如：汽车、厨房、消费电子、医疗器械等等;计算机视觉则使用数字处理和智能算法去理解图像或者视频，它是一个已经被研究很久，但仍然方兴未艾的领域。 “嵌入式视觉”这一名词是指在嵌入式系统中使用计算机视觉技术。换句话说，“嵌入式视觉”是指从视觉输入中提取出其背后含义的嵌入式系统。与过去10年中无线通信技术的流行相类似，嵌入式视觉技术有望在今后10年得到广泛应用。   很明显，嵌入式视觉技术能够为多种应用带来巨大的价值(图1)。两个例子是，Mobileye基于视觉的辅助驾驶系统，用于帮助防止车辆事故的发生;以及MG国际公司的泳池安全系统，旨在防止游泳溺水。还有一些纯粹的怪才发明，Intellectual Ventures的激光灭蚊枪，设计用于防止人们感染疟疾等。           图1.嵌入式视觉是从计算机视觉应用开始的，这些应用包括，装配线检查、光学字符识别、机器人技术、监控和军事系统等。但是，最近几年，对降低成本提高性能的需求加速了这一技术在各种其他市场上的广泛应用。   正如同高速无线互联是从高成本新奇技术起步一样，目前为止，嵌入式视觉技术一般只用于复杂昂贵的系统中，例如，毛发移植的手术机器人，制造业的质量控制检查系统等。   数字集成电路的发展是高速无线技术从新奇发展到主流的关键因素。芯片速度足够快，成本足够低，能效足够高时，高速无线技术便成为市场主流技术。今天，人们能够以不到100美元的价格购买宽带无线调制解调器。   同样的，数字芯片技术的进步为嵌入式视觉的大批量应用铺平了道路(图2)。与无线通信相似，嵌入式视觉需要很强的处理能力——特别是，越来越多的应用采用了高分辨率摄像机，开始使用多台摄像机。以足够低的成本实现这类处理能力，从而促进大批量应用，这是一个很大的挑战。事实是嵌入式视觉应用需要很强的可编程能力，进一步增大了这一挑战的难度。在无线应用中，标准意味着不同手机之间的基带算法不会有太大的变化，与之相比，在嵌入式视觉应用中，通过独特的算法，有可能得到更好的结果——实现更有价值的功能。           图2.嵌入式视觉辅助系统涉及到硬件、半导体和软件元器件供应商，子系统开发人员、系统集成商，以及最终用户，还有实现未来突破的基础研究等。本文主要关注图中显示的嵌入式视觉算法处理技术。   采用嵌入式视觉，业界进入了一种“良性循环”，这是很多其他数字信号处理(DSP)应用领域的特点。目前虽然很少有专门用于嵌入式视觉应用的芯片，但是，这些应用越来越多的采用了针对其他应用开发的高性能、高性价比处理芯片，包括，数字信号处理器、CPU、FPGA和GPU等。这些芯片单位成本、单位功率的可编程性能越来越高，因此，能够支持实现大批量嵌入式视觉产品。这些大批量应用也相应的引起了硅片提供商更多的关注，他们会提供更好的性能、更高的效率和可编程处理能力。   处理选择   如前所述，视觉算法通常需要很强的计算能力。当然，所有的嵌入式系统一般都受限于严格的成本和功耗要求。在其他DSP应用领域，例如，数字无线通信等，芯片设计人员使用专用协处理器和加速器来完成应用所要求的苛刻的处理任务，同时满足了高性能、低成本和低功耗需求，从而解决了这一难题。但是，芯片用户一般不能对这些协处理器和加速器进行编程。   无线应用通常能够接受这些优缺点，无线应用标准意味着不同设备设计人员使用的算法之间有很强的共性。然而在视觉应用中，对算法的选择并没有标准约束。相反，一般可以选择很多方法来解决某一特殊的视觉问题。因此，视觉算法是非常多样的，往往随着时间的变化而迅速变化。结果，与数字无线和以压缩技术为主的消费类视频设备等应用相比，视觉应用并不倾向于采用非可编程加速器和协处理器。   但是很难同时实现高性能、低成本和低功耗以及可编程功能。专用硬件通常能够以低成本实现高性能，但是可编程能力较弱。通用CPU具有可编程能力，但是性能较差，性价比不高，能效也较低。要求较高的嵌入式视觉应用通常结合使用多个处理单元，例如，可能会包括：   ●通用CPU，用于启发式复杂判决、网络访问、用户接口、存储管理和总体控制等。   ●高性能数字信号处理器，用于实时中等速率处理，不太复杂的算法等。   ●用于简单算法像素速率处理的一个或者多个高度并行的引擎。   任何处理器在理论上都可以用于嵌入式视觉，目前最有可能的类型是：   ●高性能嵌入式CPU   ●专用标准产品(ASSP)与CPU相结合   ●具有CPU的图形处理单元(GPU)   ●具有加速器以及CPU的数字信号处理器   ●移动“应用处理器”   ●具有CPU的现场可编程门阵列(FPGA)   各类处理器，及其在嵌入式视觉应用上的关键优缺点   高性能嵌入式CPU   在很多情况下，嵌入式CPU不能提供足够的性能实现要求较高的视觉算法——也不能够以可以接受的价格或者功耗来满足性能要求。通常，存储器带宽是关键性能瓶颈，因为视觉算法通常使用大量的数据，不会重复访问相同的数据。嵌入式CPU的存储器系统无法设计适应这类数据流。然而，与大部分处理器相类似，随着时间的推移，嵌入式CPU的性能在逐渐增强，在某些情况下，能够提供足够的性能。   在可能的情况下，有足够的理由在CPU上运行视觉算法。首先，大部分嵌入式系统需要CPU来实现各种功能。如果所需要的视觉功能能够通过这种CPU来实现，那么，相对于多处理器解决方案相比，这降低了系统的复杂度。而且，大部分视觉算法一开始是在PC上开发的，使用了通用CPU及其相关的软件开发工具。PC CPU和嵌入式CPU (及其相关的工具)之间的相似性意味着，与其他类型的嵌入式视觉处理器相比，一般比较容易在嵌入式CPU上通过嵌入方式实现视觉算法。最后，嵌入式CPU使用起来通常比其他类型的嵌入式视觉处理器更简单，这是因为其相对直观的体系结构、成熟的工具以及其他的应用开发基础支持平台等，例如，操作系统。   结合了CPU的ASSP   ASSP是专用、集成度很高的芯片，定制用于特殊应用或者专业应用。ASSP可以采用CPU，或者使用单独的CPU芯片。凭借专业化，与其他类型的处理解决方案相比，ASSP通常具有优异的成本和能效。在其他技术中，ASSP通过使用专用协处理器和加速器来提高效率。而且，由于ASSP主要集中在专业应用上，因此，通常需要大量的应用软件。   这种专业化使得ASSP能够实现很高的效率，但是，也带来了很大的局限：缺乏灵活性。设计用于某一应用的ASSP一般不能用于其他应用，甚至目标应用相关的应用。ASSP使用唯一的体系结构，与其他类型的处理器相比，更难进行编程。实际上，某些ASSP并不支持用户编程。另一方面的考虑是风险问题。ASSP通常由小供应商提供，这可能会增加难以提供芯片的风险，或者无法提供后续产品以帮助系统设计人员更新其设计，设计人员不得不从头开始进行设计。   具有CPU的GPU   GPU主要是用于3D图形，并且越来越多的用于实现其他功能，例如，视觉应用等。目前，个人计算机的GPU倾向于可编程，除了3D图形还能完成其他功能。这类GPU被称为“通用GPU”，或者“GPGPU”。GPU有很强的并行处理能力。它们在个人计算机上是独一无二的。可以免费使用GPU软件开发工具，从GPGPU开始进行编程并不是很复杂。出于这些原因，在PC上第一次开发其计算机视觉算法的开发人员通常采用GPU作为并行处理引擎，他们出于仿真或者原型开发的目的，需要加速算法的执行。   GPU紧密集成了通用CPU，有时候是在同一芯片上。然而，GPU芯片的一种局限是目前能够集成的CPU类型有限，而且支持这类集成的CPU操作系统也很有限。目前，可以提供设计用于智能电话和平板电脑等产品的低成本、低功耗GPU。但是，这些GPU一般不是GPGPU，因此，除了3D图形之外，将其用在其他应用中有很大的难度。   具有加速器以及CPU的数字信号处理器   数字信号处理器是专门用于信号处理算法和应用的微处理器。对于视觉应用核心的信号处理等任务，这种专业化使得数字信号处理器的效率要远远高于通用CPU。而且，与其他类型的并行处理器相比，数字信号处理器相对比较成熟，使用起来更方便。   但是，虽然数字信号处理器在视觉算法上的性能和效率要高于通用CPU，但仍然难以提供足够的性能来满足算法要求。出于这一原因，DSP一般需要一个或者多个辅助协处理器。因此，视觉应用中一个典型的DSP芯片包括了CPU、数字信号处理器以及多个协处理器。这种异质结合能够产生很好的性能和很高的效率，但也难以编程。实际上，DSP供应商一般不支持用户对协处理器进行编程;而是让协处理器运行芯片供应商开发的软件函数库。   移动“应用处理器”   移动“应用处理器”是集成度非常高的芯片系统，一般主要设计用于智能电话，而不是其他应用。应用处理器通常包括高性能CPU内核，以及各种特殊的协处理器，例如，数字信号处理器、GPU、视频处理单元(VPU)、2D图形处理器，以及图像采集处理器等。   这些芯片专门针对电池供电应用进行了设计，因此，能效非常高。而且，由于围绕智能电话和平板电脑的应用越来越重要，因此，移动应用处理器一般有很强的软件开发基础支持平台，包括，低成本开发电路板、Linux和Android端口等。然而，正如前面章节对数字信号处理器的讨论，应用处理器中的专用协处理器一般不是用户可编程的，限制了它们在视觉应用中的发展。   具有CPU的FPGA   FPGA是灵活的逻辑芯片，可以在门级和模块级进行重新配置。这一灵活性使得用户能够随时实现定制满足应用需求的计算结构。它还支持选择满足应用需求的I/O接口和片内外设。能够定制计算结构，结合现代FPGA中大量的资源，同时实现了高性能和良好的性价比和能效比。   但是，使用FGPA实际上是硬件设计功能，而不是软件开发工作。一般在寄存器传送级(RTL)使用硬件描述语言(Verilog或者VHLD)来进行FPGA设计，寄存器传送级是很低的抽象级。与使用本文讨论的其他类型的处理器相比，这使得FPGA设计非常耗时，成本也高。   虽然如此，使用FPGA越来越方便了，这是由多种因素造成的。首先，是所谓的“IP模块”库——可重用FPGA设计组件库，其功能越来越强大了。在某些情况下，这些库能够直接满足视觉算法要求。在其他一些应用中，它们还支持视频I/O端口或者扫描线缓冲等功能。而且，FGPA供应商及其合作伙伴提供了越来越多的参考设计——采用了FPGA的可重用系统设计，面向专业应用。最后，利用高级综合工具，设计人员使用高级语言，在FPGA中实现视觉和其他算法，而且效率越来越高。用户可以在FPGA中实现性能相对低一些的CPU。而且，在少量的应用中，FPGA制造商在器件中集成了高性能CPU。

    时间：2019-07-24 关键词： CPU FPGA 嵌入式 嵌入式开发 GPU 视觉处理

  • Intel视觉处理助跑IoT发展

    Intel视觉处理助跑IoT发展

    早在今年年初就有行业专家预言，2016年将成为AR、VR发展元年。结合如今已成大趋势的智能物联，视觉处理被推到了一个倍受瞩目的地位。视觉处理在物联网的发展中应该发挥怎样的作用?物联网又需要视觉处理发挥哪些作用? 真亦假时假亦真，无为有处有还无。想来用这句话来形容VR的终极目标是最合适不过的了。在“视觉处理助力智能物联”主题沙龙上，华晨互动首席技术官郭振平表示，AR、VR最终要实现虚实结合的目标，这是在物联网时代人们对视觉处理的期待，也是VR、AR在不断上升发展中必然要经历的过程。 未来，VR将不止仅仅限于身临其境的视觉享受，还会结合现实真实场景，将虚拟事物搬到生活场景中去，虚实结合打造全新的虚拟现实MR时代。那时，MR技术将带给游戏爱好者们更加真实的体验。举个例子来讲，虚实结合的MR技术，可以让用户在家就可以体验现实版的CS游戏，甚至可以通过移动虚拟的按钮来控制实际生活中的某样物品。 就像鱼离不开水，人类离不开氧气一样，视觉处理的基础是虚拟现实可视计算技术。据究表明，人类获得的关于外在世界的信息80%以上是通过视觉通道获得的。这项技术能将生活中的真实数，经过计算机的软件硬件处理形成更加直观的图片。种类繁多的信息源产生的大量数据，远远超出了人脑分析解释这些数据的能力。可视化技术作为解释大量数据最有效的手段而率先被科学与工程计算领域采用，可视化把数据转换成图形。 在互联网时代，可视化与网络技术结合使远程可视化服务成为现实，可视区域网络因此应运而生。科学可视化的主要过程是建模和渲染。建模是把数据映射成物体的几何图元。渲染是把几何图元描绘成图形或图像。渲染是绘制真实感图形的主要技术。严格地说，渲染就是根据基于光学原理的光照模型计算物体可见面投影到观察者眼中的光亮度大小和色彩的组成，并把它转换成适合图形显示设备的颜色值，从而确定投影画面上每一像素的颜色和光照效果，最终生成具有真实感的图形。真实感图形是通过物体表面的颜色和明暗色调来表现的，它和物体表面的材料性质、表面向视线方向辐射的光能有关，现在工业界投入很多精力来开发渲染技术。  （Intel中国销售与市场事业部总监 姜怡然） 说到工业发展，就不得不提中国制造2025。根据市场物联网的大趋势结合中国本土情况。Intel中国销售与市场事业部总监姜怡然女士表示，Intel 视觉处理将支持工业发展，顺应市场需求。同时，她还表示，在其他国家物联网市场中，总是科技在带动市场发展，而在中国却恰恰相反，用户需求常常在推动科技进步。 视觉处理技术的应用不仅仅只局限于AR、VR系统中，也能够广泛地应用于人脸识别、测试测量等领域中去。在工业上，也可以用于视频监控、提高机器自动化。结合物联网的发展，视觉处理技术也将渐渐进入寻常百姓家，为智能家居贡献一份力量。待到视觉处理技术成熟后，人们将不会困扰于虚拟现实设备的价格居高不下。 或许真的会有那么一天，我们会舍弃了手机，运用视觉处理的设备将占领我们的生活。

    时间：2016-01-28 关键词： Intel 物联网 行业观察 视觉处理

  • Imagination 新款PowerVR GPU 结合先进图形与最优化视觉和计算摄影学技术

    Imagination Technologies宣布，推出两款新的PowerVR Rogue GPU IP内核，可协助客户为下一代设备开发具备优异视觉与计算摄影学(computational photography)应用体验的高品质图形。通过增加对OpenCL™ 2.0*的支持，以及提升视觉应用的功耗/性能/面积，新款PowerVR Series7XT Plus GPU进一步拓展了Imagination的旗舰级Series7XT产品组合。 运用PowerVR Series7XT Plus GPU，客户能利用硬件虚拟化、多域安全性、硬件曲面细分(hardware tessellation)技术实现终极的图形体验，并持续支持最新的API，包括OpenGL® ES 3.2和Vulkan™**以及更多─现在能为下一代的视觉与计算应用提供更胜以往的体验。 近年来，人们与手机和平板电脑等移动设备之间的互动界面已经有了很大的改变。首先是触控界面出现，然后是语音识别，现在则发展到自然语言处理。下一个演进将延伸到利用GPU的电脑视觉技术，包括先进的相机处理和视觉处理功能。这些功能需要能够实现关键电脑视觉的技术，包括梯度方向直方图(HOG, Histogram of Oriented Gradients)、同步定位与地图建立(SLAM, Simultaneous Location and Mapping) 和卷积神经网络(CNNs, Convolutional Neural Networks) 等先进的深度学习(Deep Learning)算法。 Imagination多媒体技术营销总监Peter McGuinness表示：“在多年的研究之后，现在将视觉系统带到消费类设备中已成为事实。视觉信息是我们能与世界互动的带宽最高、信息最丰富的方式。当然，分析与利用视觉数据可能会耗用庞大的运算资源以及带宽。我们推出的新款GPU拥有优异的系统效率与性能，可支持与计算摄影学、电脑视觉、虚拟现实、增强现实相关的用户体验，以及其他的先进视觉体验，而且还能延长电池寿命。” JPR Research总裁Jon Peddie表示：“今天，许多芯片并没有专属的视觉处理器，但是厂商仍能利用已经广泛用来开发UI与其他功能的GPU来达到令人惊艳的视觉与计算摄影学效果。Imagination的新款Series7XT Plus建构在该公司高度可扩展的PowerVR GPU产品线之上，并具备视觉与运算应用的最佳化解决方案，为其日益拓展的电脑视觉解决方案再添新成员。Imagination始终专注于维持技术领先地位，新款GPU也不例外。” 视觉处理与计算摄影学的最优化特性组合 首次推出的Series7XT Plus GPU包括拥有64个ALU内核的Series7XT Plus GPU，以及128个ALU内核的GT7400 Plus GPU。这些GPU是专为视觉与计算摄影学提供更优的系统内效率、功耗效率以及降低带宽所设计，已满足消费类设备、中端与主流智能手机、平板电脑、以及先进驾驶辅助系统(ADAS)、信息娱乐系统、电脑视觉等汽车系统，以及用于设备集簇的先进处理等各种应用需求。 新款GPU包含多项瞄准下一代运算应用的全新特性增强功能： 通过改善整数(INT)性能(2x INT16;4x INT8)，与前一代产品相比，可为OpenVX/视觉算法提升四倍的性能 通过OpenCL 2.0中的共享虚拟内存(SVM)，可改善带宽与延迟 通过在OpenCL 2.0中支持设备阵列，可实现动态平行运算的更有效运行与控制。 确保最佳的真实世界性能、功耗与带宽 Imagination持续专注于为客户的芯片产品提供最佳的真实世界性能，通过改善延迟、片上架构、内存控制器以及内存特性，新款Series7XT Plus GPU实现了进一步的系统内性能与效率提升。这些功能提升是以全面的硬件模拟器(emulator)分析与GPU IP调校来进行系统性能建模为基础，并充分考虑了市场与客户的反馈意见。这些增强功能包括： · 支持最新的总界面特性，包括优先请求权(requestor priority)支持 · 双倍的内存突发容量——可与最新的系统架构、内存控制器以及内存器件匹配 · 调校过的容量再加上改进的缓存效率，可减少约10%的带宽 此外，Imagination还大幅改进了微架构，以提升功耗效率。 Imagination具备独特优势，能够以其丰富的图像处理器知识、GPU、视觉编码器与嵌入式CPU，以及异构处理和运算API的专业技术协助合作伙伴开发创新的视觉系统。相关的运算API包括OpenCL、RenderScript、3D图形用的OpenGL ES 3.2和Vulkan，以及OpenVX™等运算视觉应用的更高端新兴API。此外，Imagination用于Android的图像架构解决方案可为采用新款GPU运行的计算基础架构提供支持。

    时间：2016-01-13 关键词： GPU powervr 视觉处理

  • 神经网络协同处理器降低视觉处理功耗

    神经网络协同处理器降低视觉处理功耗

    嵌入式视觉(EV)系统的成长正推动对于更高性能与节能的视觉处理能力需求。包括AMD、CEVA、Imagination、英特尔(Intel)、Nvidia以及ARM的授权客户等业界多家公司均积极因应这一成长中的趋势，利用FPGA、FPGA/MPU组合、GPU与专用异质多核心等各种不同的硬体，为设计任务实现最佳化。 新思科技(Synopsys Inc.)日前发布另一种解决方案——DesignWare EV处理器核心(IP)系列，专为整合于具有多颗CPU的SoC而设计，无论是采用来自ARM、英特尔、Imagination MIPS或PowerPC等其他CPU均可相容。 该IP核心系列目前包括EV52与EV54两款可为视觉运算应用最佳化的产品，采用28nm制程制造。EV52搭载基于该公司ARC指令集的双核心 RISC处理器，以高达1GHz的频率作业;而EV54则采用四核心建置，提供较EV52更高的性能。两款产品均内建2-8个可编程配置的物件侦测引擎处理单元(PE)。   Synopsys的视觉处理器结合基于ARC的RISC核心，以及卷积神经网路侦测引擎处理单元。 (来源：Synopsys) EV52和EV54处理器利用‘卷积神经网路’(CNN)演算法——从人脑处理视觉资讯方式取得灵感，为视觉运算应用实现最佳化。CNN利用前馈人工神经网路，其中，个别神经元以一种反应视线内重叠区域的方式拼接排列。这种重叠是人眼得以追踪动作、辨识环境变化、区别不同物体以及反应脸部表情细微变化的重要关键。 Synopsys DesignWare ARC处理器资深产品行销经理Mike Thompson介绍：“该EV处理器系列是专为以1,000GOPS/W的性能执行CNN计算而设计的，它仅需使用约竞争视觉方案一小部份的功耗，即可为一系列广泛的物件应用实现更迅速与准确的侦测。” Thompson指出，“虽然有多种视觉辨识演算法竞相争宠，我们一直认为CNN具有最重大进展，而且也是目前我们看到在目标应用中最佳的物件辨识方案，可作为相机、可穿戴式装置、家庭自动化、DTV、虚拟实境、游戏、机器人、数位看板、医疗与车载资讯娱乐系统等目标应用的理想选择。” Synopsys目前正与嵌入式视觉市场中的多家厂商合作，包括Nvidia、CEVA、微软(Microsoft)等。然而，虽然透过CNN能够取得超过95%的准确结果，但问题仍取决于如何在市场可接受的功耗/性能范围内达到这样的准确度。 Thompson表示，通用处理器(GPP)虽可用于视觉处理，但由于缺乏先进的数学运算资源而使其速度过于缓慢;绘图处理器(GPU)虽然有必要的数学运算资源，但却缺少有效移动视觉资料的能力，使其视觉性能相对较低而功耗相对较高。 “我们提出的协同处理器策略将有助于使CNN成本降低到可负担的范围，以及可应用在消费产品的功耗水平。”Thompson以一系列典型物件侦测与手势办识应用的比较为例表示，EV处理器执行视觉任务的功耗大约比其他视觉解决方案的功耗更低5倍。采用内建EV处理器的SoC以每秒30格的视讯处理速率执行一项脸部侦测任务时，大约仅需175mW的功耗。相形之下，如果采用GPU来执行相同任务的话，至少需要更高8-10倍的功耗。   以每瓦数十亿次作业为衡量基准，EV处理器(最右)的执行效率超越了其他视觉方案的物件侦测与分析能力。(来源：Synopsys) 嵌入式视觉导入CNN演算法 为了将1或多个EV处理器整合于SoC，Synopsys利用与主处理器平行/同步作业的方式——透过复杂和高效的讯息传送设定以及中断机制，让不同卷积物件侦测引擎处理单元与其他处理器核心之间实现通讯(图3)。ARC EV处理器可经由编程实现自动化作业，或者，当应用必须符合特定的功耗/性能限制时，开发人员也可以选择尽量在EV处理器与主处理器之间实现最多的控制与功能共享。   EV处理器的核心是物件侦测引擎，其中包含2-8颗专用的处理单元。 (来源：Synopsys) Thompson说：“PE的数量是由用户在建构设计时所配置的，就像在PE之间的串流互连网路一样——在所有的PE之间配置灵活的点对点互连。取决于物件侦测引擎上的CNN绘图执行情况，每个点或连线均可动态改变。” 该架构的建置在于让EV处理器记忆体映射可完全由主处理器进行存取，这将能够让主处理器一方面持续进行控制，同时让所有的视觉处理任务卸载至EV单元，主处理器与EV处理器二者均可降低功耗，并加速关键的视觉任务进行。 此外，Thompson强调，这种方法还可让各种不同的视觉处理单元都能与主处理器即时通讯。为了让EV之间以及与主处理器之间的通讯更有效率，每个EV 处理器都能存取储存于SoC记忆体映射区的影像，或是在需要时透过内建的AMBA AXI标准系统介面存取晶片外接记忆体资源。 为CNN开发提供软体套件 Thompson指出，由于CNN存在一定的复杂度，就算采用了EV硬体，为特定视觉处理应用推出适合的演算法组合仍然是一项困难的任务。为了协助开发商减轻一些责任，Synopsys提供了一套完整的工具库与参考设计，让开发人员能更有效率地建构、除错、配置，以及利用业界标准且开放源码的嵌入式视觉工具链OpenCV和OpenVX，为其嵌入式视觉系统实现最佳化。 该最佳化的工具套件内含ARC EV处理器，以及超过2,500项OpenCV功能，可实现即时电脑视觉。此外，该工具套件还提供具有43种标准电脑视觉核心的OpenVX架构，可实现边缘侦测、建立影像金字塔以及光流评估，这些功能均已为执行于EV处理器实现最佳化。 Thompson还表示，由于EV处理器是可编程的，因而可加以训练用于支援任何物件检测图，以及导入新的OpenVX核心定义。一次OpenVX的运行时间可将排列的核心执行分配在EV处理器的多个执行单元上，从而简化了该处理器的编程。[!--empirenews.page--] 在用于设计EV核心时，可透过ARChitect工具发表与配置ARC EV处理器。该工具合成了可整合于任何SoC设计的RTL，以支援任何主处理器，包括ARM、英特尔、Imagination MIPS与PowerPC等。为了进一步加速软体开发，虚拟原型机将可用于EV处理器，以及支援基于FPGA的原型设计，在制造晶片之前实现硬体和软体协同设计。 “嵌入式视觉是一个快速变化的环境，”Thompson说，“现在，CNN看来是最佳的发展方向。但是，未来也可能发生改变。除了找到能够满足当今应用的成本和功耗需求的解决方案以外，我们希望为开发人员提供一种更有效的方法，在中期改变其设计任务，而无需回到起点重新设计。”

    时间：2015-06-24 关键词： 技术前沿 神经网络 协同处理器 视觉处理

  • FPGA更适用于视觉处理

     美国国家仪器公司将工程的视觉处理移植到FPGA上实现，可获得更高的处理性能 Jeff Bier 是嵌入式视觉联盟的创始人，本月在德克萨斯州奥斯汀举办的NI WEEK大会上，Jeff关注了国家仪器公司的一个演示系统，这个系统是国家仪器公司2014年度关于视觉辅助方面的新产品。这个视觉辅助组件的国家仪器公司视觉开发模块的一个部分，能够实现快速设计和一些机器视觉应用的开发。2014年期间，国家仪器公司已经将很多已经实现的视觉处理算法移植到了他自己的硬件平台上，以前这些视觉处理算法是利用FPGA硬件平台实现的。国家仪器公司主要的平台是CompactRIO-9068软件设计控制系统，这个系统是基于赛灵思Zynq Z-7000 ALL Programmable SoC而设计的。将视觉处理算法用Zynq SoC的可编程逻辑(FPGA)部分来实现不仅提升了视觉处理的性能，而且可以让Zynq SoC上的两个ARM Cortex-A9处理器有更多的资源去处理其他任务。 国家仪器公司在NI Week大会上演示的系统模块在Zynq SoC的FPGA部分实现了一个PID控制器 ，用于实时控制整个演示模块的步进电机。这样允许视觉处理过程符合控制算法，最大化的提升系统性能。 国家仪器公司的视觉辅助组件能够生成标准的LabView代码，并且借助了LabView FPGA 模块，是对Labview设计环境的扩展。LabVIEW软件的FPGA 模块利用Vivado设计软件作为基础，生成对FPGA芯片配置的文件。LabVIEW FPGA实现对图形化的LabVIEW代码，并将综合结合下载到CompactRIO-9068控制系统的FPGA硬件部分，对FPGA进行配置。 开发人员借助NI公司的视觉辅助组件可以快速完成基于FPGA的视觉应用的原型设计，这个辅助组件包含了视觉开发模块。视觉开发辅助组件是一个基于可配置的原型开发工具，允许开发这迭代优化他们的图像处理算法，可以让他们看到设置参数的改变会对图像有什么样的影响。当算法工程完成后，视觉辅助组件会自动生成一个完整的LabVIEW工程，包括虚拟的处理器内核，虚拟的FPGA部分和其他一些功能，例如在处理器和FPGA之间通过编解码实现图像的传输。通过视觉辅助组件生成的FPGA代码同样进行了优化，支持并行执行。开发人员可以使用LabVIEW FPGA 的IP Builder修改图像处理算法，这个功能是国家仪器公司(NI)的LabVIEW软件的FPGA 模块所支持功能的一部分。 除了可以加速开发流程和代码生成效率，视觉辅助组件也可以估计FPGA资源的使用情况，使用信息包括FPGA芯片资源(例如slice(分片)，LUTs(查找表)，DSPs和Block RAM)的使用百分比，它可以反映出整个图像处理应用的资源使用信息，也可以反映出每个独立的图像处理算法的芯片资源使用情况，可以让开发人员在整个应用的开发过程中了解每个任务模块的资源使用情况，实现资源的合理安排。

    时间：2014-09-10 关键词： FPGA 视觉处理

发布文章

厂商动态

技术子站

更多

项目外包

更多

论坛活动

更多

资料下载

更多

技术专题

更多

编辑原创

更多

评  测

更多

公 开 课