当前位置:首页 > 机器视觉
  • 工业投影设计——不只是为了观看

    工业投影设计——不只是为了观看

    作者:王洋昔,德州仪器(TI)DLP®产品营销经理 应用于影院、教室或企业会议室中使用的视频投影仪是为了满足人眼的观看需要而设计。然而,并不是所有的投影仪都是为了满足观看的需要。很多工业应用领域——诸如3D机器视觉和动态投影影射——则需要具有更高帧速率和更低延迟的工业用投影仪。这一点在工厂自动化装置中特别重要,其中的工业投影被用来正确地挑选物体、对物体进行定位,或者将这些物体放置在适当的位置上。 你也许会对于帧速率和延迟的重要性感到不解。从字面上看,帧每秒的意思是每秒能够在屏幕上闪现的图像数量。与高速摄像头组合在一起,越高的投影仪帧速率能够在更短的时间周期内捕捉可视信息,这有助于提升机器视觉系统的精度和数据吞吐量。排脚3D印刷电路板(PCB)检查是得益于高帧速率的一个工业应用。它被用来在组装线上检查锡膏量是否合适,以及组件放置的位置是否正确,这有助于提高PCB产量。 延迟是发生在某一物体成像的时间与它被投影的时间之间的非常轻微的滞后。低延迟对于被投射图像与摄像头之间产生更好的同步而言十分重要,这可以使得类似机器人设备的机器视觉系统在正确的时间到达指定位置。数字投影映射是一个得益于低延迟的应用,它能够快速且准确地跟踪被投影的物体。 现在,有一个全新演示给出了我们一个解决方案——这个运行速率达到每秒1000帧及3毫秒延迟的解决方案可谓是这个领域的巨大技术进步。它包含具有一个高速工业摄像头的TI DLP7000 XGA芯片组,以及一个用来提供如此高性能的个人电脑。虽然传统消费类投影仪可实现高达120Hz帧速率,TI DLP产品库中的某些高速芯片则专门设计用于工业解决方案,从而在8位深的情况下实现高达1900Hz的帧速率。该演示由众多DLP设计网络合作伙伴之一的东京电子有限公司和东京大学联合创作。从动态投影映射到PCB检查和工厂自动化,它无疑让我们得以一瞥机器视觉的未来。

    时间:2020-08-11 关键词: 德州仪器 机器视觉 dlp

  • 别让智障机器人毁了企业品牌——奥比中光机器人3D摄像解决方案

    别让智障机器人毁了企业品牌——奥比中光机器人3D摄像解决方案

    随着机器视觉、人工智能、人机交互的发展,科幻电影中的高智能机器人不再遥不可及,而消费级机器人逐渐出现在商超、家庭之中,为人类承担了部分体力劳动。然而,近日有网友曝光自家扫地机器人的智障行为,引起了大量网友对当今机器人应用的热议。 可以想象,一旦自家机器人因技术问题出现各种稀奇古怪的事件被曝光,对企业来说都是不可承受之重,轻则需召回产品维修、产品线改造,重则企业品牌受损,消费者信任度大打折扣。 但是从大量网友、媒体对事件的关注可以看出,机器人巨大的市场潜力已经在逐步兑现,机器人企业当务之急是选择适配自身产品的机器视觉技术,以提高产品性能从而优化用户体验。 在机器人领域,目前主流在2D图像上通过算法实现智能识别,但是由于2D图像本身包含的信息有限,即使算法再先进,输入信息将成为智能化的短板,如果能够有全面的三维信息,每个对象的三维轮廓、物理特征将更为充分识别,提升导航、轨迹、识别等AI应用能力。 选择3D深度摄像作为机器视觉技术,进行SLAM建图、实现避障、跟随目标、人机交互、自动抓取等功能,能满足产品性能的同时兼顾成本,是业界公认性价比较好的方案。 目前主流的3D深度摄像技术有三种: 1) 结构光(Structured Light):结构光投射特定的光信息到物体表面后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。 2) TOF(TIme Of Flight,飞行时间):通过专有传感器,捕捉近红外光从发射到接收的飞行时间,判断物体距离。 3) 双目测距(Stereo System):利用双摄拍摄物体,再通过三角形原理计算物体距离。 从上图可以看出,结构光优势在于技术成熟,深度图像分辨率可以做得比较高,可以用更低的硬件成本,达到甚至超越其他2种3D摄像技术的效果,而在算法开发方面也不会太高,而随着技术研发的升级,诸如抗光照水平等也在不断提升。从国际巨头苹果、微软、英特尔都选择了结构光技术应用到自家产品上看,业界更加肯定了机构光技术的优势! 在PremeSense被苹果收购不再对外授权技术,英特尔RealSense产品价格较高的情况下,国内仅有奥比中光一家企业能提供性价比高、可量产的结构光技术方案。其推出的3D深度摄像头Astra、Astra Pro、Astra mini,可实现机器人的SLAM建图、实现避障、跟随目标、人机交互、自动抓取等功能。 点击查看奥比中光机器人解决方案视频(https://v.qq.com/x/page/y0540sz3r2v.html) 奥比中光机器人解决方案演示 Astra系列深度摄像头主要由一个红外摄像头、一个激光器和一个RGB摄像头组成,尺寸也是由两种,模块尺寸大小为165mm*38mm*30mm;检测范围是0.6-8米,测量精度在1m范围内约±1-3mm;视角58.4°;分辨率最高可以做到1280*1024@7FPS。 Astra mini的尺寸为80mm*20mm*19.3mm,检测范围和精度等都不变,只是相对体积更小,应用更多的场景当中。 产品中最核心的3D计算芯片、深度算法、系统支持SDK等也都是该公司完全自主开发。自成立以来,申请专利近300件,研发团队具有从底层芯片、深度算法、到系统、框架、上层应用支持的技术实力,所以相比采用国外底层芯片的方案可以做到成本更低的消费级产品。 近期,奥比中光将推出新一代结构光3D传感摄像头产品,相比较第一代产品,更加小型化,分辨率参数会更高,功耗更低,将适用于包括机器人、手机、平板、笔记本等众多小型化产品有3D视觉方面需求的厂商,势必对现阶段智能终端的设计有巨大影响! 随着奥比中光持续在结构光3D传感技术领域的演讲,目前已将3D传感器技术应用于体感电视,机器人,安防等行业,奥比中光作为软硬件技术结合的全球人工智能视觉龙头企业,将以让世界所有终端都能看懂世界为愿景而奋斗。

    时间:2020-08-07 关键词: 机器视觉 扫地机器人 3d摄像 避障 slam建图

  • 对图像处理和卷积神经网络架构的案例分析和概念理解

    对图像处理和卷积神经网络架构的案例分析和概念理解

    近日,Dishashree Gupta 在 AnalyTIcsvidhya 上发表了一篇题为《Architecture of ConvoluTIonal Neural Networks (CNNs) demysTIfied》的文章,对用于图像识别和分类的卷积神经网络架构作了深度揭秘;作者在文中还作了通盘演示,期望对 CNN 的工作机制有一个深入的剖析。   引言 先坦白地说,有一段时间我无法真正理解深度学习。我查看相关研究论文和文章,感觉深度学习异常复杂。我尝试去理解神经网络及其变体,但依然感到困难。 接着有一天,我决定一步一步,从基础开始。我把技术操作的步骤分解开来,并手动执行这些步骤(和计算),直到我理解它们如何工作。这相当费时,且令人紧张,但是结果非凡。 现在,我不仅对深度学习有了全面的理解,还在此基础上有了好想法,因为我的基础很扎实。随意地应用神经网络是一回事,理解它是什么以及背后的发生机制是另外一回事。 今天,我将与你共享我的心得,展示我如何上手卷积神经网络并最终弄明白了它。我将做一个通盘的展示,从而使你对 CNN 的工作机制有一个深入的了解。 在本文中,我将会讨论 CNN 背后的架构,其设计初衷在于解决图像识别和分类问题。同时我也会假设你对神经网络已经有了初步了解。 1. 机器如何看图? 人类大脑是一非常强大的机器,每秒内能看(捕捉)多张图,并在意识不到的情况下就完成了对这些图的处理。但机器并非如此。机器处理图像的第一步是理解,理解如何表达一张图像,进而读取图片。 简单来说,每个图像都是一系列特定排序的图点(像素)。如果你改变像素的顺序或颜色,图像也随之改变。举个例子,存储并读取一张上面写着数字 4 的图像。 基本上,机器会把图像打碎成像素矩阵,存储每个表示位置像素的颜色码。在下图的表示中,数值 1 是白色,256 是最深的绿色(为了简化,我们示例限制到了一种颜色)。 一旦你以这种格式存储完图像信息,下一步就是让神经网络理解这种排序与模式。 2. 如何帮助神经网络识别图像? 表征像素的数值是以特定的方式排序的。 假设我们尝试使用全连接网络识别图像,该如何做? 全连接网络可以通过平化它,把图像当作一个数组,并把像素值当作预测图像中数值的特征。明确地说,让网络理解理解下面图中发生了什么,非常的艰难。 即使人类也很难理解上图中表达的含义是数字 4。我们完全丢失了像素的空间排列。 我们能做什么呢?可以尝试从原图像中提取特征,从而保留空间排列。 案例 1 这里我们使用一个权重乘以初始像素值。 现在裸眼识别出这是「4」就变得更简单了。但把它交给全连接网络之前,还需要平整化(flatten) 它,要让我们能够保留图像的空间排列。 案例 2 现在我们可以看到,把图像平整化完全破坏了它的排列。我们需要想出一种方式在没有平整化的情况下把图片馈送给网络,并且还要保留空间排列特征,也就是需要馈送像素值的 2D/3D 排列。 我们可以尝试一次采用图像的两个像素值,而非一个。这能给网络很好的洞见,观察邻近像素的特征。既然一次采用两个像素,那也就需要一次采用两个权重值了。 希望你能注意到图像从之前的 4 列数值变成了 3 列。因为我们现在一次移用两个像素(在每次移动中像素被共享),图像变的更小了。虽然图像变小了,我们仍能在很大程度上理解这是「4」。而且,要意识到的一个重点是,我们采用的是两个连贯的水平像素,因此只会考虑水平的排列。 这是我们从图像中提取特征的一种方式。我们可以看到左边和中间部分,但右边部分看起来不那么清楚。主要是因为两个问题: 1. 图片角落左边和右边是权重相乘一次得到的。 2. 左边仍旧保留,因为权重值高;右边因为略低的权重,有些丢失。 现在我们有两个问题,需要两个解决方案。 案例 3

    时间:2020-08-06 关键词: 机器视觉 图像处理

  • 嵌入式视觉系统的广泛应用

    嵌入式视觉系统的广泛应用

    机器视觉长期以来用于工业自动化系统中,以通过取代传统上的人工检查来提高生产质量和产量。从拾取和放置、对象跟踪到计量、缺陷检测等应用,利用视觉数据可以通过提供简单的通过失败信息或闭环控制回路,来提高整个系统的性能。 视觉的使用并不仅仅在工业自动化领域;我们也看到了相机在日常生活中的大量应用,例如用于计算机、移动设备,特别是在汽车中。摄像头仅仅是在几年前才被引入到汽车中,但是现在汽车中已经配备了大量摄像头,以为驾驶员提供完整的360°车辆视图。 但是谈到机器视觉领域的最大技术进步,可能一直是处理能力。随着处理器性能每两年翻一番,以及对多核CPU、GPU和FPGA等并行处理技术的持续关注,视觉系统设计人员现在可以将高度复杂的算法应用于视觉数据,并创建更智能的系统。 处理技术的发展带来了新机会,而不仅仅是更智能或更强大的算法。让我们看看为制造机器增加视觉功能的应用案例。这些系统传统上设计为形成协作分布式系统的智能子系统网络,该系统允许模块化设计(见图1)。   然而,随着系统性能的提高,采用这种以硬件为中心的方法可能遇到困难,因为这些系统通常采用时间关键和非时间关键协议的混合来联接。通过各种通信协议将这些不同的系统联接在一起,会导致延迟、确定性和吞吐量方面出现瓶颈。 例如,如果设计者试图利用这种分布式架构开发应用,并且必须在视觉和运动系统之间保持紧密集成,例如在视觉伺服中所需要的,那么可能遇到由于缺乏处理能力而带来的主要性能挑战。此外,由于每个子系统都具有自己的控制器,这实际上会降低处理效率。 最后,由于这种以硬件为中心的分布式方法,设计人员不得不使用不同的设计工具来设计视觉系统中每个子系统的特定视觉软件,以及用于运动系统的运动专用软件等。这对于规模较小的设计团队而言尤其具有挑战性,因为一个小团队甚至是一名工程师,需要负责设计中的许多部分。 幸运的是,有更好的方法为先进的机器和设备设计这些系统,这是一种简化复杂性、提高集成度、降低风险和缩短上市时间的方法。如果我们将思维从以硬件为中心转向以软件为中心的设计方法,结果会怎么样(见图2)?如果我们使用能用单一设计工具实现不同任务的编程工具,那么设计人员就可以在他们的软件中反映机械系统的模块性。 图2:以软件为中心的设计方法,允许设计人员通过在单个强大的嵌入式系统中整合不同的自动化任务(包括视觉检查、运动控制、I/O和HMI)来简化控制系统结构。   这允许设计人员通过在单个强大的嵌入式系统(见图3)中整合不同的自动化任务(包括视觉检查、运动控制、I/O和HMI)来简化控制系统结构。这消除了子系统通信的挑战,因为现在所有子系统都在单个控制器上的相同软件堆栈中运行。 高性能嵌入式视觉系统是这种集中式控制器的最佳候选者,因为这些设备中已经内置了这些功能。 图3:将处理器与FPGA和I/O结合在一起的异构架构,不仅是设计高性能视觉系统、也是集成运动控制、HMI和I/O的理想解决方案。   让我们来看看这种集中式处理架构的一些好处。以视觉引导运动应用为例,例如柔性馈送,其中视觉系统为运动系统提供引导功能。这里,零件的位置和取向都是随机的。在任务开始时,视觉系统拍摄零件的图像以确定其位置和取向,并将该信息提供给运动系统。 然后,运动系统根据图像坐标将致动器移动到零件所处的位置,并拾起它。它也可以使用此信息在放置零件之前校正方向。通过这种方法,设计者可以消除先前用于定向和定位零件的任何夹具。这不但降低了成本,还允许应用程序能更容易地适应新的零件设计,只需要修改软件即可。 以硬件为中心的架构的关键优点是其可扩展性,这主要归因于系统之间的以太网链路。但是也必须特别注意通过该链路的通信。如前所述,这种方法的挑战在于以太网链路的不确定性,并且带宽有限。 对于大多数仅在任务开始时给出引导的视觉引导运动任务,这是可接受的;但是也可能存在其他情况,其中延迟的变化可能是一大挑战。将这种设计转向集中式处理架构,具有诸多优点。 首先,因为可以使用相同的软件开发视觉系统和运动系统,设计者不需要熟悉多种编程语言或环境,因此降低了开发复杂性。第二,消除了以太网网络上的潜在性能瓶颈,因为现在数据仅在单个应用中的环路之间传递,而不是在物理层之间传递。 这使得整个系统的运行具有确定性,因为一切共享相同的过程。当将视觉直接引入控制回路中时,例如在视觉伺服应用中,这是特别有价值的。这里,视觉系统在运动期间连续捕获致动器和目标零件的图像,直到运动完成。这些捕获的图像用于提供关于运动成功的反馈。有了这一反馈,设计人员可以提高现有自动化的精度和精密度,而无需升级到高性能运动硬件。 现在提出了一个问题:这个系统是什么样子?如果设计人员将要使用能满足机器视觉系统所需的计算和控制需求的系统,并要与其他系统(如运动控制、HMI和I/O)无缝连接,那么他们需要使用具备所需性能的硬件架构,以及每个这些系统所需的智能和控制能力。 这种系统的一个很好的选择是:使用将处理器和FPGA与I/O相结合的异构处理架构。已经有很多行业投资这种架构,包括美国Xilinx公司的Zynq全可编程SoC(将ARM处理器与Xilinx 7系列FPGA架构相结合),以及英特尔数十亿美元收购Altera等。 对于视觉系统,使用FPGA特别有益,这主要是因为其固有的并行性。算法可以分开,运行数千种不同的方式,并且可以保持完全独立。另外,这种架构的好处不仅仅体现在视觉方面,其对运动控制系统和I/O也大有裨益。 处理器和FPGA可用于执行高级处理、计算和制定决策。设计人员几乎可以通过模拟和数字I/O、工业协议、定制协议、传感器、致动器和继电器等,连接到任何总线上的任何传感器。此架构还满足了其他要求,如时序和同步以及业务挑战(如提高生产率)。每个人都希望更快地开发产品,这种架构消除了对大型专业设计团队的需要。 不幸的是,虽然这种架构提供了很多性能和可扩展性,但是实现它的传统方法需要专业知识,特别是在使用FPGA时。这为设计者带来了巨大风险,并有可能导致使用该架构不切实际甚至不可能。然而,使用集成软件(如NI LabVIEW),设计人员可以通过提取低级复杂性,并将所需的所有技术集成到单一开发环境中,来提高生产率,降低风险。 理论是一回事,将其付诸实践是另一回事。Master Machinery是台湾一家生产半导体加工设备的公司(见图4)。这种特定的设备使用机器视觉、运动控制和工业I/O的组合,将芯片从硅晶片上取下并封装。这是能使用图1中的分布式架构的机器示例,每个子系统可以单独开发,然后通过网络集成在一起。 图4:使用中央集权的、以软件为中心的方法,Master Machinery公司将其主机控制器、机器视觉和运动系统、I/O和HMI全部集成到单个控制器中,性能是竞争对手的10倍。   行业内这种机器每小时的产量大约为2000个零件。但是Master Machinery公司采取了不同的方法。他们设计了中央集权的、以软件为中心的架构,并将主机控制器、机器视觉和运动系统、I/O和HMI全部集成到单独的控制器中,所有都采用LabVIEW编程。除了不需要单个子系统实现成本节约之外,这种方法还具备性能优势,其每小时大约能生产20000个零件,是竞争产品的10倍。 Master Machinery公司成功的关键因素之一是能够将多个子系统组合在单个软件堆栈中,特别是机器视觉和运动控制系统。使用这种统一的方法,Master Machinery公司不但简化了设计机器视觉系统的方式,而且还简化了如何设计整个系统。 机器视觉是一项复杂的任务,需要大量的处理能力。随着摩尔定律继续增加处理元件(如CPU、GPU和FPGA)的性能,设计人员可以使用这些组件来开发高度复杂的算法。设计人员还可以使用此技术来提高设计中其他组件的设计性能,特别是在运动控制和I/O领域。 随着所有这些子系统性能的提高,用于开发这些机器的传统分布式架构将面临压力。将这些任务整合到单个控制器中,运行在单个软件环境下,消除了设计过程中的瓶颈,使设计人员可以专注于创新,而不必担心实施问题。  

    时间:2020-08-06 关键词: 嵌入式 机器视觉

  • 详解机器视觉之工业镜头的计算方法介绍

      英特尔宣布放弃无线VR解决方案,退出无线VR之争,这对于TPCAST来说就是最大的好消息。现在TPCAST和华为展开合作,打造基于5GMobile的无线VR解决方案,这相当于广域网的无线VR,未来的VR新形态逐渐形成。   就在HTC Vive发布VR一体机的第二天,华为无线场景实验室(Wireless X Labs)宣布与北京传送科技有限公司(TPCAST)签署谅解备忘录。双方将利用各自在5G网络技术、低延迟编解码器与实时VR数据控制协议上的优势,联合开发基于5G网络的云端渲染VR解决方案。     当前VR的实现方式主要有两种,一种是把用户手中的手机与VR头显相结合,俗称「手机盒子」或「VR一体机」其实都属于这种范畴。优点是成本低,但由于移动端天然的性能和显示原因,往往视觉效果较差;另一种是高端头显搭配高性能PC的方式,视觉体验更好,但需要线材连接,移动性较差,用户还必须为此多购买一台昂贵的电脑。   传送科技CTO周朝晖告诉记者,此前公司给HTC Vive打造的基于60G传输信号的无线配件,其实仍然算是一种折中方案:归根结底是一种局域网的无线VR形态,相当于基于PC、头盔和TPCAST套件,自己搭了一套60G信号的传输网络。而如果使用5G Mobile,用户甚至不需要PC。   「TPCAST和华为的合作,是打造基于5GMobile的无线VR解决方案——这相当于广域网的无线VR,」旨在将本地复杂的图像处理搬到云上,实现可交互VR内容的实时云渲染。也就是说,用户使用Cloud VR将不受地域限制,连电脑都不需要了。依托云端的快速迭代能力,内容开发者还可以更快速的进行内容发布。   无线VR的技术在飞速发展,从5GWiFi,到2016年第一代TPCAST的Wireless HD,再到第二代可能采用的WiGig,三代过去,时间仅仅过去了三年时间不到。   「未来,可能所有的PC都会跑在云端,实现所谓的Cloud VR,用户只需要戴着头盔就够了,其他什么都不用。」周朝晖说。   01、英特尔「大撤退」,无线VR之争已提前结束?   其实,在传送科技看来,早在与华为牵手之前,无线VR之争就应该已经提前结束了。   这场战争从去年双11的天猫购物节上发起,「始作俑者」就是传送科技。那个时候HTC Vive中国区总裁汪丛青,首次把装着传送科技开发的TPCAST无线模块的VR头盔,戴到了篮球巨星科比的头上,引起VR行业强烈震动——在这之前,高端PC VR头盔上那根连到电脑上长长的「辫子」,一直被不少人视为VR在用户体验上最大的瓶颈之一。   而随着传送科技剪掉了这根「辫子」,如雨后春笋一般,无数公司——从MIT的实验室到以色列的创业公司,在TPCAST之后纷纷推出自己的无线方案原型。据记者不完全统计,从去年11月开始,宣布自己推出无线VR原型的公司竟有接近十家之多。   在这其中,声势最大的就要属TPCAST直接竞争对手、有线显示传输技术公司DisplayLink携芯片巨头英特尔的入局。英特尔在今年一月份的CES上宣布和HTC合力打造无线VR方案,这让不少人对它抱有极大的期望:专注大空间定位方案的ZVR CEO郭伟向记者指出,作为传统芯片巨头的英特尔加入无线VR战场,看点是能否改变TPCAST方案的外接模块形态,让无线VR真正进入所谓「芯片级」形态。   周朝晖告诉记者 「他们觉得中国人做出来了。也急忙赶了一套东西发布了」——在今年六月份的E3展上,DisplayLink无线方案亮相,著名美国科技媒体Engaget在试用后,甚至给出了体验超过TPCAST的评价。这对TPCAST而言,一度被视为最大的威胁。   但风云突变,剧情在9月初急转直下,肇因支持该方案的英特尔,突然宣布自家支持60G无线的芯片11000、18260、13100和天线芯片M100041停产——而这是支持60G无线方案的核心元件,不少媒体纷纷把这解读为英特尔「不战而降」、放弃无线VR解决方案的标志。   周朝晖的看法倒与国内媒体不同,他称,英特尔不会放弃无线VR,但此次停产之前的芯片,新的芯片再怎么着也得明年中旬才能出来,等到那个时候,传送科技又要有新动作了。目前,他们已经适配完毕三大高端头显中的Oculus和HTC Vive,对微软系MR的适配也在进行中。   据说,一家硬件公司一直在和别人开发相关方案,两个月前这家公司的高管找到传送科技,头一句话就是「他们太不靠谱了」,最终还是希望下一代产品采用传送科技的新方案。   随着最大对手脚步的停滞,其他「跟风」产品也逐渐销声匿迹,这场战争还没打响,似乎就已经结束了。   02、赌城的神秘来客   2017年初的拉斯维加斯除了赌徒外,还迎来了一大批的科技公司。这是因为,这里是全球最大的电子产品展——CES的举办城市。而传送科技的展位上迎来了一位举止可疑的以色列人,他在展台附近兜兜转转,不时亲自体验一下无线方案,不时又问一些细节问题。   接着,这位老兄询问传送科技的技术团队,有没有兴趣和自己去体验一下自家的无线VR方案——这时传送科技才明白,对方是英特尔无线团队的负责人。但对方没有选择和TPCAST在CES上「正面交锋」,而是包下了展会附近的一个酒吧进行展出。   周朝晖一听,也来了兴致。当下跟着他去了酒吧,体验了一下该方案。「老实讲,效果还是可以的,不能说不好」,接着他又加了一句,「但和我们相比,差了半年时间」。   所谓PC端的无线VR方案,实际上是一种高速的无线图像传输手段,在PC端把VR所需显示的巨量图像进行编码压缩,通过无线信号发射给头盔,再在头盔端解码并显示出来,因此这其中传输信号和高效的编解码是关键。   那个时候英特尔还没有和DisplayLink合作,而是采用了自家的解码器。但据周朝晖称,这种解码器较为古老,是2013年研发的,目的是扩展笔记本的显示器到其他的设备上,因此并不是针对VR设计的,这就造成了它的分辨率比较低,图像压缩较为严重,只有1080p的分辨率,并且伴随着肉眼可见的延时,「起码有几十毫秒」。   据说,英特尔一直在无线VR方案离采用这款解码器,一直到发现最终要进入量产阶段的时候才发现解码器不给力,于是又拉来了DisplayLink这家做有线显示传输技术比较有名的公司。   在今年E3上,同时打着英特尔和DisplayLink LOGO的无线模块赫然登场,号称7毫秒的延时,虽然没有传送科技的2毫秒低,但实际测试效果比起年初已经不可同日而语,再加上不少国外知名媒体和两大公司的背书,这可谓是自11月以来,传送科技遇到最大的挑战。   此前,英特尔一直主推在笔记本上的60GHz扩展坞。更联合联想、戴尔、惠普等公司推出了笔记本连接扩展坞,它可以用于连接显示器等外设。高通也和TPLink、NETGEAR推出了60GHz的路由器,但由于应用场景不太成立,加上60GHz信号天生非常怕遮挡,这些产品都没有推广开去。   周朝晖等人意识到,DisplayLink方案同样很可能难产——这套方案采用的11000、18260等芯片都比较古老了——最早是英特尔为了上述的笔记本60G方案打造的,有三、四年的历史了。从技术指标上来说,无法适配现在HTC 2K乃至微软MR头盔3K甚至未来4K的头显。不过,毕竟大公司来势汹汹,「说实话,心里也有点急,也没那么大把握」。   终于,随着英特尔在9月份宣布本文开头提到的产品停产,传送科技算是松了口气。至此,他们和以色列WiGig团队的「较着劲的切磋」,第一回合似乎以胜利而告终。   03、下一代的无线方案:WirelessHD还是WiGig?   要搞定无线VR,最大的问题就是不能让无线方案增加VR头盔的延时。众所周知的是,VR头盔本身需要传输很多信号,包括视频、音频、陀螺仪和位移等数据。在从PC端传输到头显的时候,其实已经有一些延时。一旦无线化,这种延时很可能会加剧。「延时低于15毫秒,才不会造成用户头晕」。   在最初做无线VR方案时,传送科技先要解决一个难题——自己的技术是基于WiFi 5G技术的,单向传输1080p分辨率的高清视频没有问题,但遇上VR视频信号动辄就2K、3K甚至4K分辨率,该如何解决?   他们想到了60GHz技术。这种技术「带宽是5G的至少十倍以上」,有两大主流规范:以英特尔、高通等为代表的WiGig规范(即802.11ad传输信号),以及以三星、LatTIce等为代表的WirelessHD规范。   第一代产品,他们选择了LatTIce公司的WirelessHD硬件技术,当时的理由是「WirelessHD是相对成熟,改动幅度比较小的基础协议」。但是,使用差不多一年下来,传送科技越来越能看到WirelessHD的天花板。   2016年初推出的主流PC VR头显,如HTC Vive和Oculus Rift,其分辨率多为2K,但是随着硬件技术的发展,更高的分辨率已经是必然趋势。微软联合戴尔、惠普、宏碁、华硕、联想、3Glasses推出的新一代VR头显,分辨率全都在3K。此外,4K甚至8K的头显,也在不断有人发布,如国内公司小派、IDEALENS等。   WirelessHD的每秒传输速度极限在7G左右,但是3K分辨率的图像已经差不多10个多G了,「4K分辨率甚至能达到20多个G」,如此一来就必须采用高压缩比的协议,并且降低成本,这一点,或许就要WiGig。根据ABI Research的一份新报告显示,到2022年,84%的VR设备将采用WiGig无线连接方案。   现在的TPCAST产品,包括60GHz信号的专用路由器、电池、信号接收器和发射装置等。而下一代的TPCAST虽然和第一代一样仍然是FPGA,但可能将不再会是外接配件。   「我们会卖模组,可以理解为芯片组,直接嵌入到头盔设备上。路由器也没有了,都是点对点传输。USB扩展坞插在PC上,头盔上还是放我们的接收器就好。」   不过,60GHz技术仍然面临着发射范围短、无法穿透墙壁等问题,TPCAST将如何解决这些问题,还暂时不清楚。   就在前几天,有外媒评价,WiGig从未被主流笔记本和显示器市场接受。在传输上,相对Thunderbolt 3甚至USB 3.1 Gen2都没有什么优势——后两者能达到10-40GB每秒的传输速度,而要付出的代价仅仅是一根连线而已。因此,他们推测英特尔将全力把60GHz的技术应用在无线VR领域。   果不其然,几天之后,英特尔发出消息,称终止公布一年有余的Alloy VR一体机项目,转而专注在无线VR解决方案上。   第二回合即将拉开帷幕,但周朝晖倒是挺有信心,「TPCAST在无线VR已经具备一定先发优势。未来能对我们构成威胁的公司也基本不存在了。高通只会做模块,不会亲自去做VR的方案,即便是DisplayLink之类的公司要追,也得有个1-2年才能达到我们目前的这个水平。」   专注线下的郭伟也看好TPCAST发力WiGig路线,他告诉青亭网,TPCAST以其相对物美价廉的效果,在这一领域已经拥有品牌效应,别的公司再进来,已经没有太多意义。现在,他们也在和TPCAST合作,推出了一套基于HTC Vive无线版本的大空间多人定位方案,摆脱背包电脑的束缚,可覆盖100平米范围。   04、微软MR无线方案即将到来?   2016年10月,微软宣布和六大OEM进场,推出299美元起的VR头显,采用不同于HTC Vive的、不需要外部传感器的inside-out定位方案,分辨率也达到3K。   今年,这些头盔已经陆续发货。业内人士普遍给出了廉价、简单、易安装且稳定的评价。三星、富士通也陆续加入了这个阵营。而传送科技也已经逐步完成了这些头盔的适配。

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉之LBP-TOP详解

    机器视觉之LBP-TOP详解

    之前介绍过机器视觉中常用到的一种特征:LBP LBP可以有效地处理光照变化,在纹理分析,纹理识别方面被广泛应用。 但是LBP 只能处理单张的二维图像,对于视频或者图像序列,如何用LBP来提取特征,捕捉视频序列的运动信息呢。今天我们就介绍一种称为 LBP-TOP 的特征,是芬兰奥卢大学的 Guoying Zhao 等人提出来的,最早是用来处理动态纹理的识别,但是现在已经被广泛用在基于视频的人脸表情识别上面。 LBP-TOP 是 LBP 从二维空间到三维空间的拓展,LBP-TOP 的全称为: local binary patterns from three orthogonal planes, 这里的three orthogonal planes 指的就是三个正交平面,我们知道,单张的图像只有X, Y两个方向,而一个视频或者图像序列除了X,Y 方向之外,还有一个沿着时间轴 T 的方向, 而 X-Y, X-T 和 Y-T 三个方向是相互正交的。可以看看如下的图: 图片来自参考文献 [1] 一个图像序列,给出三个正交平面的纹理图,X-Y 就是我们正常看到的图像,X-T 是每一行沿着时间轴扫描而过的纹理,Y-T 是每一列沿着时间轴扫描而过的图像,简单来说,我们可以在这三个平面都提取 LBP 特征,然后把三个平面的 LBP 特征连接起来,就是 LBP-TOP。 如下图所示: 图片来自参考文献 [1] 所以说 LBP-TOP 是 LBP 从二维到三维的拓展,与LBP 相比,LBP-TOP 不仅考虑了 X-Y 平面的纹理信息,还考虑了 X-T, Y-T的纹理信息,而X-T,Y-T 的纹理信息,记录着重要的动态纹理。 从之前介绍的LBP 我们知道,提取LBP特征,采用 uniform code 编码的话,会生成一个 59 维的数组,记录着 LBP 的直方图信息,那么 LBP-TOP特征,在三个正交平面都提取LBP,最终会生成一个 59&TImes;3 的数组,特征的维数一下增加了三倍。很多时候,我们会把图像分块,一个图像分成 4&TImes;4 个blocks, 每个block都会生成一个 59&TImes;3 的数组,最后生成的特征的维数是 4&TImes;4×59×3=2832, 所以LBP-TOP 是一种高维特征。 LBP-TOP 源代码可以在奥卢大学的官网下载 声明:博客上用到的图片都来自参考文献[1], 只能用于学习交流,严禁用于任何商业目的,如需转载或引用,请注明文献[1]为出处。

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉光源选择要点和其他要素

    机器视觉光源选择要点和其他要素

    在机器视觉中,获得一张高质量的可处理图像至关重要。机器视觉系统之所以成功,首先要保证图像质量好,特征明显。反之,如果图像质量不好,特征不明显,会使机器视觉系统变得不可靠或鲁棒性不高,甚至导致项目失败。因此,光源选择技能是必须的,下面为大家介绍光源选型的基本要素:   1. 光源颜色 良好的光源颜色选择可以使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度,即,特征与其周围的区域之间有足够的灰度量区别,从而易于特征的区分。为了最大程度区分被观察物和背景,通常选择互补色光源,例如,当被观察物为绿色时,选择红色光源背景能提高对比度。   当被观察物中混杂一些我们不希望看到的杂质时,通常选择与杂志颜色相同的背景光源颜色,这样可以在视觉效果上滤除杂质干扰。   检测微小尘粒时,紫外光是一个良好选择。例如在晶片尘粒检测时,通常用到紫外光。   2. 照明方式 良好的照明方式应该保证需要检测的特征突出于其他背景。照明方式有很多中,例如前向照明、背向照明、同轴光照明等,根据不同的应用背景,不同的照明方式直接与项目成败相关。 当需要突出物体轮廓时,通常采用背向照明,即被观察物位于光源和高速相机之间。   多种方式的前向照明 此外,在一些特殊应用场合,灵活使用定制的照明方式也很重要。例如,为了节省光源和高速相机的摆放空间同时又达到光源从一定角度照射的效果,可使用反射镜,科天健自主研发的焊缝跟踪系统将高速相机和激光线发射器固定在一个小盒子内,通过一个反射镜改变激光线方向,使激光线和高速相机光轴方向呈大角度,以便针对焊缝进行激光三角测量。   焊缝跟踪照明系统 3. 其他要素 光源的亮度、鲁棒性也是光源选型中不可忽略的要素。 亮度:当选择两种光源的时候,最佳的选择是选择更亮的那个。当光源不够亮时,可能有三种不好的情况会出现。第一,高速相机的信噪比不够;由于光源的亮度不够,图像的对比度必然不够,在图像上出现噪声的可能性也随即增大。其次,光源的亮度不够,必然要加大光圈,从而减小了景深。另外,当光源的亮度不够的时候,自然光等随机光对系统的影响会最大。 鲁棒性:是指光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时,结果图像应该不会随之变化。方向性很强的光源,增大了对高亮区域的镜面反射发生的可能性,这不利于后面的特征提取。 好的光源需要能够使你需要寻找的特征非常明显,除了是高速相机能够拍摄到部件外,好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了,剩下来的工作就容易多了。当然,具体的光源选型方法还在于试验的实践经验。

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉的弹簧自动检测系统模块及组成

    机器视觉的弹簧自动检测系统模块及组成

    挑战: 基于机器视觉技术,设计出一套高效、可靠的弹簧自动检测系统,使之能够代替操作人员繁琐的劳动。该系统在实现准确识别缺陷与精确测量尺寸的同时,还应满足实时性、可靠性、便于维护等要求。   解决方案: 系统的硬件部分主要基于线扫描影像系统。运动机构配合线阵相机采集弹簧展开图像后,经NI PCI-1428图像采集卡送入计算机进行处理。软件部分则以LabVIEW为开发平台,结合IMAQ、SQL Toolkit等开发包在短时间内开发弹簧自动检测系统,检测弹簧表面缺陷及尺寸(包括弹簧自由长度、线径、节距及有效圈数)。 引言 弹簧表面质量检测是弹簧加工的重要环节。检测时,人们通过各种试验方法对弹簧的性能进行测定,从而把弹簧的质量定量数值化,为企业的质量管理与追踪提供正确的评定依据。弹簧的成品检验主要包括对弹簧的外观检测、尺寸检测、负荷检测等内容,这里我们主要完成对弹簧的外观检测和尺寸检测(包括弹簧长度、线径、线径间距和有效圈数)。 国内现有的弹簧检测方法一般是人工用游标卡尺等工具目测,这种方法不仅效率低,而且误差大。有些公司也从国外进口先进设备进行弹簧自动检测,这一方面大大增加了生产成本,另一方面设备的维护也很困难。针对以上不足,自主开发基于机器视觉的弹簧自动检测系统具有十分重要的意义。该系统主要基于NI公司的LabVIEW图形编程环境进行开发,界面简洁友好,方便检测人员操作。对于同一规格的弹簧,系统在得到弹簧的所有数据后与对应标准值进行比对,对弹簧进行分类。实验结果表明,相比传统的人工检测方法,该方法检测速度快,精度更高,可靠性更强。 一. 弹簧检测平台硬件构成 1.1检测系统的组成部分 弹簧自动检测系统的硬件构成如图1所示,弹簧水平置于白色旋转轴上,由步进马达驱动轴转动。PLC除了负责发出脉冲驱动马达旋转外,也将此脉冲作为外部触发信号接入图像采集卡,以保证采集到等比例的图像。相机采用德国Basler公司的线阵相机系列Basler L101k-2k,配合NI公司的PCI-1428图像采集卡一起完成图像的采集工作。采集的弹簧展开图如图1所示。相机采集完一帧弹簧的展开图后,经图像采集卡送入计算机进行处理。计算机主要完成硬件的配置及初始化、图像处理、数据分析与保存等功能。经图像处理得到弹簧表面缺陷和尺寸的关键参数后,计算机将其与对应规格的弹簧标准库信息进行比对,以标识不合格弹簧。 图 1 弹簧自动检测系统示意图 1.2线阵相机与采集卡的配合 线阵相机的取像原理与面阵不同,它每次只采集一行图像,只有在镜头与被拍摄物体之间存在相对运动时才能采完一帧完整的二维影像。图2中,纵向为线阵传感器的方向,其分辨率由线阵CCD决定;横向表示相机的扫描方向,其分辨率由步进电机的最小步距决定。电机运动速度过大,图像会被压缩,如图2(b)所示;速度太小,图像则会被拉伸,如图2(c)。 图 2 运动速度不同时的对应成像效果 为了得到等比例的图像,设置相机工作于外部边沿触发模式,如图3。在这种模式下,相机的线扫率完全由外部信号的频率决定,两者关系公式:线扫率=1/外部信号频率。NI公司的PCI-1428图像采集卡提供了四对外部触发端口(分别从Trig_(0)到Trig_(3),输入信号类型为TTL电平),支持线阵相机的外同步取像模式。将PLC发出的脉冲接入PCI-1428采集卡的任一外部触发端口,这样就实现了马达转速与线扫率之间的对应。MAX(Measurement & AutomaTIon Explorer)是NI公司开发出来方便用户对各种硬件进行设置和测试的软件。在MAX中,可以根据需要配置采集卡的基本参数,如取像模式,图像大小,触发信号的类型等。 图 3 外部边沿触发模式(ExSync,Edged-controlled Mode) 二. 弹簧检测部分的关键模块

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉照明的详细要点概括

    机器视觉照明的详细要点概括

    机器视觉的照明系统可以将被测物特征最大化,并减少相应的背景中对比物的影响,使高速相机可以清晰地“看见”被测物。高对比的图像可以降低系统难度并提高系统的稳定性;反之,低对比的图像会增加系统的处理时间并使加大系统的复杂度。机器视觉应用的成功很大一部分取决于照明设置,一个合适的照明系统可以使整个视觉检测系统更具有效率和准确性。下面将详细介绍机器视觉照明要点: 一:使用强光检测缺失的材料 光场照明技术适用于检测表面光滑的物体。当物体表面纹理光滑,光照在被测物表面会产生镜面反射,强烈的反射光直接被高速相机接收,视场中出现一个明亮区域;当被测物表面缺失,存在粗糙的纹理时,散射光远离高速相机,视场中会出现黑暗区域。   图1: 好的工件:高速相机拍摄出完整环形区域 ;缺失的工件:确实的部分呈现暗区域 二:使用合适的波长进行精确定位 适当颜色的光源照射在电路板上,能使特定的电路板部件反射明亮的光,而错误安装的部件会吸收光而呈现出暗色。机器视觉系统能够迅速识别这些错误。在这种应用中,采用同轴照明技术及蓝色光源。蓝色波长(460纳米)能明显区分银和铜表面:铜吸收蓝光,出现暗色,银反射蓝光,出现亮色。   图2:采用460纳米的蓝色光波能够区分铜和银表面 三:使用非散射照明检测玻璃裂缝 非散射的阵列照明可以用于凸显透明玻璃上的缺陷。在该应用中,暗背景下,非散射性暗视场照明能够凸显被测物特征,使裂纹呈现亮色。光线在高速相机的视场外的暗场照射透明玻璃。大多数光线能够穿透透明玻璃而使高速相机无法察觉,当玻璃表面存在中空的裂缝时,光线会折射、反射、散射到很多方向,从而,一部分光线会被高速相机捕获。而当照明光是散射光时,很难使裂缝呈现亮色。   图3:采用非散射性的暗场照明能检测玻璃表面裂纹 四:使用扩散光检查透明包装 检测药片塑料包装中的缺失、损坏或不正确是确保成品药品质量的重要检查步骤。照亮包裹药片的塑料包装通常是一个艰难的挑战。在该应用中,采用白色LED灯进行阴天照明(CDI: Cloudy Day IlluminaTIon)。这种阴天照明方式能够使药物的塑料包装膜呈现透明的颜色,而其中的药物则呈现出高对比度的中性色。 这种连续的漫反射照明技术,强调表面纹理和高度的变化。这种照明方式提供了一个超大立体角,使光线能够从多个角度照射到被测物,从而消除了典型的单向或单平面光源的反射和阴影。   图4:使用扩散光源可检查透明包装 五:使用颜色来创建对比度         

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉在自动化测量系统的控制器选择

    机器视觉在自动化测量系统的控制器选择

    机器视觉在自动化测量系统中的应用日益普及。 其原因是越来越多的信息需要从相机中提取,而不是从一个专用传感器中提取。 相机可以用于提取温度信息、测量尺寸,并检查对象存在与否,同时也提供了许多其它有用的信息。 这使其广泛应用于质量检测、机械控制和机器人引导等应用中,所有这些应用在选择控制硬件和软件时都有独特的需求和挑战。 本文概述了其中一些考量因素来帮助您选择最适合您机器视觉系统的控制器。   1. 什么是视觉系统? 视觉系统由一个或多个用于图像采集的相机以及一个用于运行采集和分析软件的控制器组成。 这些系统可以有多种组成结构,但最常见的是智能相机,在智能相机中,相机和控制器集成到一个装置中,相机通过帧接收器或以太网、USB等其他连接端口连接到台式计算机或工业PC,甚至相机可直接连接到可编程逻辑控制器(PLC)等工业控制设备,由控制器管理图像采集以及片I/O和测量设备。 您可以使用这些系统来解决类似的应用,但每个系统的功能各不相同,使之更适合于某些使用场景。 选择最适合您应用的控制器时,需要考虑您的需求并将这些需求匹配到最适合任务需求的控制器。 虽然最明显的考量因素是控制器的处理能力,但其他因素也对控制器的选择影响甚大,比如所支持的相机、I/O功能和与现有基础设施集成的能力。 2. 处理能力 强大的处理能力可以直接影响可运行的算法以及视觉系统做出决策的速度。 单相机条码检测系统所需的处理能力显然比多相机立体视觉系统要低得多。 此外,I/O或闭环运动控制等机器视觉系统需要更高的处理能力来确保视觉组件以及I/O和运动控制组件可以稳定地运行。 为了减少图像处理时间,一些厂商现在使用同构处理来运行视觉算法。 同构处理方法使用CPU和GPU、FPGA或DSP的组合来处理图像,速度比单独使用其中某个组件要快得多。 同构处理减少了图像处理所需的时间,甚至可以允许图像用作为闭环控制算法的输入。 在选择视觉系统所需的控制器之前,充分理解要使用的算法以及系统运行这些算法所需的时间是很重要的。 3. 支持的相机 图像采集所使用的相机数量和通信总线类型也会影响控制器的选择。 在您选择了应用所需的相机后,请确保控制器能够支持相机所使用的通信总线。 机器视觉应用中两个常用的工业标准总线是USB3 Vision和GigE Visio。 这些标准可允许控制器使用标准USB 3.0或以太网端口来连接相机,这两种端口常见于消费和工业计算机上。 两种标准可以通过集线器或交换机来将多台相机连接至一个端口。 这是在系统中添加更多相机的一种可行方法,但请记住,连接到集线器的每个相机都会与同一个集线器的其他相机共享带宽。 此外,大多数消费级交换机并不支持以太网供电(PoE) 等特定功能。 如果您打算使用这些功能,或者您的系统没有足够的带宽来让多个相机共享,则可能要选择一个具有多个独立控制端口的控制器,使得每个相机都能够获得完整的带宽。 4. I/O功能 大多数机器视觉系统需要一些基本的数字I/O来触发相机或读取编码器。 一个例子是视觉系统使用安装在传送带上方的相机来检测所传送的零件。 这其中的难点在于如何让相机在零件移动到相机正下方时拍摄图像,除非系统可以跟踪输送带的位置。 这个问题的一种常见解决方法是使用编码器来读取传送带的位置并以与传送机上放置零件的时间间隔来触发相机。 如果零件在传送机上的间隔不均匀,则可使用接近式传感器来触发相机。 有些机器视觉系统可能需要更高级的I/O功能。 在一些材料分析应用中,通常需要将图像与测量数据同步,以便图像中的事件可以与测量数据相关联。 设想一个使用相机和应变计来测量施加外力时复合材料的弯曲程度和负载的应用。 这些同步的数据可以用来了解材料在外力作用下的行为,甚至可以测量出材料的断裂点。 这种级别的同步需要图像采集和I/O之间能够紧密集成,使得测量数据可以精确地进行时间标记或者相机和测量设备之间能够共享同一个时钟。 选择控制器之前需要了解您的I/O和同步需求。 对于触发或非同步测量等基本I/O需求,可以选择具有集成式或网络分布式I/O的控制器。对于更复杂的I/O需求,可选择具有集成式I/O或通过EtherCAT等确定性通信协议连接I/O设备的控制器。

    时间:2020-08-05 关键词: 控制器 机器视觉

  • 机器视觉的Gabor Feature特征表达

    机器视觉的Gabor Feature特征表达

    在机器视觉中,gabor feature是一种比较常见的特征,因为其可以很好地模拟人类的视觉冲击响应而被广泛应用于图像处理, gabor feature 一般是通过对图像与gabor filter做卷积而得到,gabor filter定义为高斯函数与正弦函数的乘积,其表达式如下: gabor filter 的实数部分,相当于各个方向的边缘检测算子,基于这一特性,可以利用 gabor filter来构造gabor space,下图给出一个各个方向的gabor filter: 利用 gabor filter 与 图像 做卷积,可以得到不同方向,不同尺度滤波后的图像,如下所示: 可以利用卷积后的图做进一步的处理,用来做各种分类,识别之类的。

    时间:2020-08-05 关键词: 机器视觉 gabor

  • 机器视觉处理的测试程序

    机器视觉处理的测试程序

    在机器视觉处理中,我们经常要对检测到的物体的方位特征进行评估。比如说,我们要 OCR 识别一个字符串。那么这个字符串与x轴的夹角就很重要,我们需要这个信息把这个字符串转正,然后才方便识别。 条形码识别也类似,尤其是当我们条形码不是很清晰时,首先将条形码转正,然后用各向异性的滤波器处理一下,可以让条形码变得更清晰易于读取。 这里给出一种基于统计参数的特征提取方法。这个方法已经有几十年历史了,算是个老方法,但是效果很不错,所以值得写篇文章来介绍介绍。 区域的矩 一片区域 R 的矩定义为: 当p 和q 都取 0 时,得到的就是这片区域的面积。也就是: 矩还可以归一化,也就是用上面的定义再除以面积 a。 表示的是这片区域的重心。可以用它来描述区域的位置。 归一化的矩回随区域在图像中的位置不同而变化,要去除这个影响,可以用中心矩,中心矩只反映区域本身的特征。 具体的方法是将这个区域当作一个椭圆区域,那么用上面5个参量就可以计算出椭圆的长短轴和旋转角度。具体公式如下: 椭圆的这几个参数的图形解释如下图: 利用这几个参数就可以确定区域的方位和尺寸了。 比如我们有下面的一幅测试图像。 用上面方法计算出的椭圆如下: 可以看出结果非常的好。尤其是旋转角度,计算的非常准确。 下面是我的测试代码,供参考。用到了些 Qt 的功能。 #include #include #include #include #include "picturebox.h" #include QImage threshold(const QImage &image, quint8 th) { int height = image.height(); int width = image.width(); QImage ret(width, height, QImage::Format_Indexed8); ret.setColorCount(256); for(int i = 0; i < 256; i++) { ret.setColor(i, qRgb(i, i, i)); } for(int i = 0; i < height; i ++) { const uchar *pSrc = (uchar *)image.constScanLine(i); uchar *pDest = (uchar *)ret.scanLine(i); for( int j = 0; j < width; j ++) { pDest[j] = (pSrc[j] > th)? 255: 0; } } return ret; } QImage toGray( const QImage &image ) { int height = image.height(); int width = image.width(); QImage ret(width, height, QImage::Format_Indexed8); ret.setColorCount(256); for(int i = 0; i < 256; i++) { ret.setColor(i, qRgb(i, i, i)); } qDebug () << image.format(); switch(image.format()) { case QImage::Format_Indexed8: case QImage::Format_Grayscale8: for(int i = 0; i < height; i ++) { const uchar *pSrc = (uchar *)image.constScanLine(i); uchar *pDest = (uchar *)ret.scanLine(i); memcpy(pDest, pSrc, width); } break; case QImage::Format_RGB32: case QImage::Format_ARGB32: case QImage::Format_ARGB32_PremulTIplied: for(int i = 0; i < height; i ++) { const QRgb *pSrc = (QRgb *)image.constScanLine(i); uchar *pDest = (uchar *)ret.scanLine(i); for( int j = 0; j < width; j ++) { pDest[j] = qGray(pSrc[j]); } } break; } return ret; } QPointF center(const QImage &image, int value) { if(image.isNull() || image.format() != QImage::Format_Indexed8) { return QPointF(-1, -1); } int width = image.width(); int height = image.height(); int x_mean = 0; int y_mean = 0; int count = 0; for(int j = 0; j < height; j ++) { const uchar * p = image.constScanLine(j); for(int i = 0; i < width; i++) { if( p[i] == value ) { x_mean += i; y_mean += j; count++; } } } return QPointF((double)x_mean / count, (double)y_mean / count); } struct ELLIPSE_PARA { double x_mean; //椭圆的中心坐标 x double y_mean; //椭圆的中心坐标 y double r1; //椭圆的长轴半径 double r2; //椭圆的短轴半径 double theta; //椭圆的长轴与 x 轴的夹角(逆时针) }; /** * @brief ellipseFit 将一片区域当作椭圆来估计五个几何参数 * @param image * @param value * @param para */ bool ellipseFit(const QImage &image, int value, ELLIPSE_PARA * para) { if(image.isNull() || image.format() != QImage::Format_Indexed8) { return false; } QPointF c = center(image, value); int width = image.width(); int height = image.height(); double n01 = c.x(); double n10 = c.y(); double mu20 = 0.0; double mu02 = 0.0; double mu11 = 0.0; int count = 0; for(int row = 0; row < height; row ++) { const uchar * p = image.constScanLine(row); for(int col = 0; col < width; col++) { if( p[col] == value ) { mu02 += (col - n01) * (col - n01); mu20 += (row - n10) * (row - n10); mu11 += (col - n01) * (row - n10); count ++; } } } if(count == 0) { return false; } mu20 /= count; mu02 /= count; mu11 /= count; double t1 = mu20 + mu02; double t2 = mu20 - mu02; double t3 = sqrt(t2 * t2 + 4 * mu11 * mu11); double r1 = sqrt(2 * ( t1 + t3) ); double r2 = sqrt(2 * ( t1 - t3) ); double theta = - atan2(2 * mu11, mu02 - mu20) / 2.0; para->r1 = r1; para->r2 = r2; para->theta = theta; para->x_mean = n01; para->y_mean = n10; return true; } int main(int argc, char *argv[]) { QApplicaTIon a(argc, argv); QImage image("D:/test55.png"); QImage imageGray = toGray(image); //imageGray = threshold(imageGray, 128); ELLIPSE_PARA para; ellipseFit(imageGray, 0, ¶); qDebug() << para.r1; qDebug() << para.r2; qDebug() << para.theta * 180 / 3.14159; QPointF c(para.x_mean, para.y_mean); qDebug() << c; QPainter painter(&image); painter.setPen(Qt::red); painter.translate(c); painter.rotate(-para.theta * 180 / 3.14159); painter.drawEllipse(QPointF(0, 0), para.r1, para.r2 ); PictureBox box; box.seTImage(image); box.show(); return a.exec(); }

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉光源照明技术说明及其图像处理

    机器视觉光源照明技术说明及其图像处理

    一、机器视觉光源照明技术的几个要素 1、方向:选择不同的光源,控制和调节照射到物体上的入射光的方向是机器视觉系统设计的最基本的参数。它取决于光源的类型和相对于物体放置的位置。   1)直射光:入射光基本上来自一个方向,射角小,它能投射出物体阴影;   2)散射光:入射光来自多个方向,甚至于所有的方向,它不会投射出明显的阴影。 2、光谱:光是由单一的或多种成份的光谱组成的,例如日光的光谱就是由从红外到紫外的所有光谱组成的,人眼能感觉的光谱范围在380nm至780nm之间,即从红色780nm到紫色380nm。光的颜色,取决于光源所产生的光的类型,以及覆盖在光源或摄像机镜头上的光学滤色镜。 3、偏振性:(PolarizaTIon)又称极化光,是光波的一种特性,光在传播时和电磁波一样是震荡的,一般的光波的震荡方向是不定的,而极化光的震荡方向处在一个确定的平面上,例如线性极化光的振荡轴与传播方向垂直。光波的这种定向性,在镜面式的反射光中保留了这种偏振性,而漫散式的反射光则丢失了。这样就可以使用光线的偏振性使镜面眩光掠过摄像机镜头,来消除镜面反射光的影响。 强度:光照的强度会影响摄像机的曝光,光线不足则意味着低对比度,就要加大放大倍数,就可能同时将噪音放大,也可能会使镜头的光圈加大,但景深减小了,增加了散热的可能?反过来,强度过大会浪费能量,并带来散热的问题。 均匀性:在所有的机器视觉应用中,都会要求均匀的光照,因为所有的光源随着距离的增加和照射角的偏离,其照射强度减小,所以在对大面积物体照明时,会带来较大的问题,有时只能做到视场的中心位置保持均匀。 二、影响机器视觉照明的几个特性 1、反射特性:从物体反射入射光的性能,有二种很不同的反射特性。 1)、镜面式反射:光线的反射角等于入射角。镜面式反射有时用途很大,有时又可能产生极强的眩耀。在大多数情况应避免镜面反射。 2)、漫散:照射到物体上的光从各个方向漫散出去。在大多数实际情况下,漫散光在某个角度范围内形成,并取决于入射光的角度。 2、颜色:人眼或摄像机观察到的颜色可能是由三种不同的方式形成的:   直接从照射光的波长来区分颜色。例如在580nm附近波长的光为绿色,利用此波长光照射绿色物体,从而特出物体和背景差异; 1)、相加色:二种或三种波长的光组合成某种波长光的效果,例如黄色光(波长为620nm)和蓝色光(波长为480nm)混合,出现绿色光的效果,但实际上在光谱的绿色部分并没有这一光谱段的能量。利用光的这一特性,发明了彩色电视,电视监视器中由红、绿、蓝三基色可基本上合成自然界的各种颜色。 2)、相减色:反射时,从光谱中去除某些波长的光。含有所有可见光谱的白光,照射到红色物体后,红色光谱被反射,而其它成份被物体吸收了。例如白的金属如钢,黄色金属如金。它们之间的颜色的差别是因为钢较均匀地反射所有光谱的光,而金反射了白光,但从中减去了蓝光,就会出现黄颜色的效果。 3、光学密度:不同物质、不同厚度或不同化学特性的物体,在光线穿过它们时,穿透率是不同的。这种差异可能在整个光谱范围内存在,也可能只存在于光谱的某些点。一般来说,背光是检测光学密度差异的最好办法。 4、折射:不同的透明物质,具有不同的折散率。它们用不同方向传送入射光。例如空气和玻璃的折射率不同,当定向光以某个方向照射时,在玻璃中的气泡使光线弯曲,以致于产生黑的或亮的气泡轮廓。 5、纹理:物体表面的纹理在图像处理时可能是有用的;也可能纹理太细了,以致无法分辨,但它又会影响到光的反射。有时纹理是重要的,应该用光照来加强,而有时纹理又是不需要的,它会引起噪音的效果,应该用光照来减弱纹理的影响。 6、高度:物体中不同高度的特征可以用定向光来加强或者用漫射光来减弱高度的影响。 7、表面方向:物体表面不同部位的相对方向的差异可以用定向光来加强,也可用漫散光来减弱。

    时间:2020-08-05 关键词: 机器视觉 图像处理

  • LBP 的算法介绍

    LBP 的算法介绍

    Local binary pattern (LBP),在机器视觉领域,是非常重要的一种特征。LBP可以有效地处理光照变化,在纹理分析,纹理识别方面被广泛应用。 LBP 的算法非常简单,简单来说,就是对图像中的某一像素点的灰度值与其邻域的像素点的灰度值做比较,如下图所示: 如果邻域像素值比该点大,则赋为1,反之,则赋为0,这样从左上角开始,可以形成一个bit chain,然后将该 bit chain 转换为一个十进制的数,用表达式可以表达如下: 其中,s 表示一个阈值函数,满足如下关系: 通过这种转换,可以将一个像素点与邻域的差值关系用一个数表示,因为LBP 记录的是像素点与邻域像素的差值关系,所以光照变化引起像素值的同增同减不会改变LBP的大小,特别是在局部的区域,我们可以认为光照对图像造成的像素值变化是单向的,所以LBP可以很好的保存图像中像素值的差值关系。可以进一步将LBP 做直方图统计,这个直方图可以用来作为纹理分析的特征算子。 我们可以看到,R 表示邻域的半径,P 表示邻域像素的个数,或者bit chain 的长度,如果邻域的半径为1,则邻域的像素个数为8, bit chain 的长度为8,如果邻域半径为2,则邻域的像素个数为16,bit chain 的长度为16,邻域半径为3, 邻域的像素个数为24,bit chain 长度为24,如下图所示: 我们考虑最简单的R=1,P=8 的情况,LBP 映射成一个0-255之间的某一数值,如果用直方图表示,需要一个256维的数组在存储这个直方图。为了缩小存储空间,有人提出了 uniform pattern 的编码方式,根据一个 bit chain 中 0,1之间的转换次数定义了uniform pattern。如果一个 bit chain 中,0,1 之间的转换次数不超过两次,那么这个bit chain 就是 uniform pattern, 比如,00000000 转换次数为0, 00001111 转换次数为1, 00011100 转换次数为2, 01101100 转换次数为4, 01101010 转换次数为6,那些转换次数不超过两次的pattern 都属于uniform pattern,可以证明,绝大多数的binary pattern 都是uniform pattern,通过这种定义,对于 8 bit 的 LBP, 可以从256 维降到 59维,减少了90%。

    时间:2020-08-05 关键词: 机器视觉 lbp

  • 关于HoG算法的介绍

    关于HoG算法的介绍

    Histogram of oriented gradients 简称 HoG, 是计算机视觉和图像处理领域一种非常重要的特征,被广泛地应用于物体检测,人脸检测,人脸表情检测等。 HoG 最早是在2005 年的CVPR 上由 Navneet Dalal 和 Bill Triggs 提出来的。HoG 的算法很简单,对于物体的特征表示却非常有效。简单而高效,这大概也是其从被提出来之后,就被CV界广泛使用的原因所在。 下面简单介绍一下HoG 的算法: 首先是计算梯度: 我们可以看到,如果K 定了的话,那么 histogram 的长度也就定了。如果在整张图像上都用这一个histogram 来统计,那么不管图像的尺寸多大,最终的histogram还是长度为K。很显然,这不是我们希望看到的,这样必然会丢失很多信息。所以就有block representaTIon. block representaTIon, 简单来说,就是将图像进行分块, 将图像分成一块一块,每一块都可以用一个histogram 做统计,然后将每一块的histogram 连起来,形成一个长的的histogram。block representaTIon 也是局部特征提取最常用到的一种方式。 图像分块,也有两种方式,一种是overlap,一种是non-overlap,也就是说块与块之间有重叠,或者没有重叠。在计算HoG的时候,一般都会选择overlap 的分块方式。 MATLAB 中已经集成了HoG 的函数,可以直接调用库函数计算HoG. 这个函数的调用形式如下: [f1, visualizaTIon]=extractHOGFeatures(I) 其中 I 是输入的图像, f1 就是计算得到的HoG 特征,是一个高维的histogram, visualization 是将HoG 进行可视化的一个 object 变量。 这个函数的输入变量有很多,除了输入图像I 之外,还有一些其它的变量, 一般都会采用默认的缺省值。 下面逐一介绍这些缺省变量: cellsize: [8 ,8], 这是计算HoG的最小块了,每个 8×8 的 cell 都可以得到一个histogram。 Blocksize: [2, 2], 这是说明一个block 含有多少个cell,[2 2] 意味着一个block 含有 2×2 个cell。 BlockOverlap: 这是说明block 之间重叠部分的大小,以cell的个数来表示,默认值是一半的cell都有重叠。 NumBins: 就是上面提到的K,默认值为9。 UseSignedOrientation: 就是上面提到的角度的取值范围,默认为无符号的角度范围,即 0∘−180∘ 所以说,采用默认值计算,虽然一个cell 的histogram的长度只有9,但是一个block 有4 个 cell,那么一个block 的histogram 的长度变成了36,对于一张尺寸为64×64 的图像来说,采用overlap 的分块方式,将有 49 个block,所以最终 HoG 的长度是 36×64=1764. 图像尺寸越大,HoG 的长度也会随之增长。不过总得来说,HoG 还算是一种简洁紧凑的特征。比起Gabor,LBP,SIFT 来说,算是比较经济实惠,性价比很高的了。 最后给出一个例子:  

    时间:2020-08-05 关键词: 机器视觉

  • 怎样进行机器视觉的像素校准?

    怎样进行机器视觉的像素校准?

    摘要:描述了一种机器视觉校准的方法。在基于小孔成像相机模型的基础上,使用平板拍取若干张照片进行校验。采用几何坐标变换,并且结合齐次图形学,考虑相机镜头畸变的情况下,计算出相机的内参和外参。此类方法可以广泛御用使用于机器视觉的相机的校准。   1. 引言 机器视觉,主要是指使用相机,自动通过CCD或者CMOS获得图像,之后对于图像进行分析,此类分析可以是自动或者人工判断。随着如今工业自动化程度的提高,越来越多的机器视觉被用在工业生产之中,可以说近二十年里,机器视觉得到了飞速的发展。 在机器视觉的使用中,尺寸或者形状的测量会被大量应用到,和普通测量工具一样,此类机器视觉在使用前需要进行像素校准。 2. 机器视觉的像素校准介绍 机器视觉的像素校准,是指由把由相机拍摄的图片和实物进行比较计算,获得两者之间的数学关系,并可通过此关系来矫正图片,以此消除图片拍摄时由多种误差产生的形变。对于用来测量的机器视觉,尤其是高精度测量的视觉系统,像素校验是必不可少的一环。 一张相机拍摄的图片,是通过像素为单位来存储所有信息的。像素校验使用了数学方法,把以像素为单位的图片还原为我们常用的测量单位,如毫米,英尺等。 和普通摄影一样,当知道了焦距,CCD或者CMOS的大小等硬件参数后,我们可以初略计算出其比例关系。如,1个像素对应1毫米,那100个像素就对应100毫米。但是,在相机拍摄图像时候,由于CCD或者CMOS的微小形变,以及镜头的畸变,外加拍摄角度的问题,其比例不是完全线性的。这个时候就需要用到像素校验,它通过复杂计算,系统的产生整个图像于真是世界的映射关系。如下常见的形变图片,需要通过像素校验还原: 由于拍摄距离产生的形变图片 由于拍摄角度产生的形变图片 由于CCD或者CMOS以及镜头产生的形变图片 由于实物三维的高低/前后/上下产生的形变图片 3. 机器视觉的像素校准的步骤以及计算方法 1) 制作带圆点的长方形校准板,其中板的颜色为白色,圆点颜色为黑色。 2) 使用相机拍摄校准版,可以得到形变后的图像 3) 使用数学方法,得到两个图像的映射关系 通过比较图片和实物,圆点中心点的水平差值dx和垂直差值dy。 数学公式表示如下: 1) 基于物理特性的数学映射方法如下: 常见的畸变分为辐射畸变和正切畸变。 辐射畸变,是由于镜片的偏差产生的,可以用如下图表示: 其中:P1A为无畸变情况下,点P1在图像平面上的投影; P1D:为畸变情况下,点P1在图像平面上的投影; P2A:为无畸变情况下,点P2在图像平面上的投影; P2D:为畸变情况下,点P2在图像平面上的投影。 对于辐射畸变可以使用如下公式进行纠正[2] : 正切畸变,是由于CCD或者CMOS安装偏差导致的,可以使用如下图表示: 对于正切畸变,可以使用如下公式进行纠正: 4. 使用软件进行相机像素校验 基于上述理论知识,可以配合视觉软件进行实验。这里选取了使用开源软件OpenCV来进行校验。 基于OpenCV的相机校验: OpenCV使用方格棋盘做为校验板: 如果要获得相机的内参,外参以及畸变,可以使用OpenCV提供的校验函数: void cvCalibrateCamera2( CvMat* object_pointsCvMat* image_pointsint* point_countsCvSizeimage_sizeCvMat* intrinsic_matrixCvMat* distorTIon_coeffsCvMat* rotaTIon_vectors CvMat* translaTIon_vectors = NULL, int flags = 0 ); 使用此函数,至少需要对于校验板使用不同角度,拍取2张图片。如果要获得准确度高的结果,建议使用拍取不同角度的多张图片来进行校准。 校准前: 校准中: 校准后: 对于提高精度,也可以使用圆点校验板,但是这样需要修改一些OpenCV的代码。 使用圆点校验板校验: 校验前: 校验中: 校验后: 5. 结论 通过考虑常见畸变,相机内参和相机外参的影响,建立坐标系模型,可以较为准确的给予机器视觉进行像素校准。对于不同校验板以及多维度的校验板,需要进一步实验确认其精确度。 参考文献 (References) [1] Sonka, M., Havac, V. and Boyle, R. (2011) Image Processing, Analysis, and Machine Vision. 4th EdiTIon, Cengage Learning, New York. [2] Bradski, G. and Kaehler, A. (2008) Learning OpenCV: Computer Vision with the OpenCV Library. O’Reilly, Sebastopol.

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉常用专业英文单词解释

    机器视觉常用专业英文单词解释

    词汇表旨在使读者避免对常用词和专业化词汇产生混淆。下述定义同数字图像处理的一般用法一致,但绝不是本领域的标准化定义。它们和已出版的图像处理和计算机技术书籍中对有关词汇的定义是大体一致的。 Algebraic operaTIon 代数运算 一种图像处理运算,包括两幅图像对应像素的和、差、积、商。 Aliasing 走样(混叠) 当图像象素间距和图像细节相比太大时产生的一种人工痕迹。 Arc 弧 (l)图的一部分(2)表示一段相连曲线的像素集合。 Binary image 二值图像 只有两级灰度的数字图像(通常为0和1,黑和白)。 Blur 模糊 由于散焦、低通滤波、摄像机运动等引起的图像清晰度的下降。 Border 边框 一幅图像的首、未行或列。 Boundary chain code 边界链码 定义一个物体边界的方向序列。 Boundary pixel 边界像素 至少和一个背景象素相邻接的内部像素(比较:外部像素、内部像素)。 Boundary tracking 边界跟踪 一种图像分割技术,通过沿弧从一个像素顺序探索到下一个像素的方法将弧检测出来。 Brightness 亮度 和图像一个点相关的值,表示从该点的物体发射或反射的光的量。 Change detecTIon 变化检测 通过相减等操作将两幅匹准图像的像素加以比较从而检测出其中物体差别的技术。 Class 类 见模或类。 Closed curve 封闭曲线 一条首尾接于一点的曲线。 Cluster 聚类,集群 在空间(如在特征空间)中位置接近的点的集合。 Cluster analysis 聚类分析 在空间中对聚类的检测、度量和描述。 Concave 凹的 如果说某个物体是“凹的”是指至少存在两个物体内部的点,其连线不能完全包含在物体内部(反义词为凸的)。 Connected 连通的。 Contour encoding 轮廓编码 对具有均匀灰度的区域,只将其边界进行编码的一种图像压缩技术。 Contrast 对比度 物体平均亮度(或灰度)与其周围背景的差别程度。 Contrast stretch 对比度扩展 一种线性的灰度变换。 Convex 凸的 指连接物体内部任意两点的直线均落在物体内部。 ConvoluTIon 卷积 一种将两个函数组合生成第三个函数的运算,卷积刻画了线性移不变系统的运算。 ConvoluTIon kernel 卷积核 (1)用于数字图像卷积滤波的二维数字阵列;(2)与图像或信号卷积的函数。 Curve 曲线 (1)空间的一条连续路径;(2)表示一路径的像素集合(见弧、封闭曲线)。 Deblurring 去模糊 (1)一种降低图像模糊,锐化图像细节的运算;(2)消除或降低图像的模糊,通常是图像复原或重构的一个步骤。 Decision rule 决策规则 在模式识别中,用以将图像中物体赋以一定量的规则或算法,这种赋值是以对物体特征度量为基础的。 Digital image 数字图像 (l)表示景物图象的整数阵列;(2)一个二维或更高维的采样并量化的函数,它由相同维数的连续图像产生;(3)在矩形(或其他)网格上采样一连续函数,并在采样点上将值量化后的阵列。 Digital image processing 数字图像处理 对图像的数字化处理;由计算机对图片信息进行操作。 Digitization 数字化 将景物图像转化为数字形式的过程。 Edge 边缘 (l)在图像中灰度出现突变的区域;(2)属于一段弧上的像素集,在其另一边的像素与其有明显的灰度差别。 Edge detection 边缘检测 通过检查邻域,将边缘像素标识出的一种图像分割技术。 Edge enhancement 边缘增强 通过将边缘两边像素的对比度扩大来锐化图像边缘的一种图像处理技术。 Edge image 边缘图像 在边缘图像中每个像素要么标注为边缘,要么为非边缘。 Edge linking 边缘连接 在边缘图像中将边缘象素连成边缘的一种图像处理技术。 Edge operator 边缘算子 将图像中边线像素标记出来的一种邻域算子。 Edge pixel 边缘像素 处于边缘上的像素。 Enhance 增强 增加对比度或主观可视程度。 Exterior pixel 外像素 在二值图像中,处于物体之外的像素(相对于内像素)。 False negative 负误识 在两类模式识别中,将属于物体标注为不属于物体的误分类。 False positive 正误识 在两类模式识别中,将不属于物体标注为属于物体的误分类。 Feature 特征 物体的一种特性,它可以度量。有助于物体的分类,如:大小、纹理、形状。 Feature extraction 特征检测 模式识别过程中的一个步骤,在该步骤中计算物体的有关度量。 Feature Selection 特征选择 在模式识别系统开发过程中的一个步骤。旨在研究质量或观测能否用于将物体赋以一定类别。 Feature space 特征空间 参见度量空间。 Fourier transform 傅里叶变换 采用复指数作为核函数的一种线性变换。 Geometric correction 几何校正 采用几何变换消除几何畸变的一种图像复原技术。 Gray level 灰度级 (1)和数字图像的像素相关连的值,它表示由该像素的原始景物点的亮度;(2)在某像素位置对图像的局部性质的数字化度量。 Gray scale 灰度 在数字图像中所有可能灰度级的集合。 Gray-scale transformation 灰度变换 在点运算中的一种函数,它建立了输入灰度和对应输出灰度的关系。 Hankel transform Hankel变换。 Harmonic signal 谐波信号 由余弦实部和相同频率的正弦虚部组合的复数信号。 Hermite function Hermite函数 具有偶实部和奇虚部的复值函数。 High-pass filtering 高通滤波 图像增强(通常是卷积)运算,相对于低频部分它对高频部分进行了提升。 Hole 洞 在二值图像中,由物体内点完全包围的连通的背景点。 Image 图像 对物理景物或其他图像的统一表示称为图像。 Image Compression 图像压缩 消除图像冗余或对图像近似的任一种过程,其目的是对图像以更紧凑的形式表示。 Image cording 图像编码 将图像变换成另一个可恢复的形式(如压缩)。 Image enhancement 图像增强 旨在提高图像视觉外观的任一处理。 Image matching 图像匹配 为决定两副图像相似程度对它们进行量化比较的过程。 Image-processing operation 图像处理运算 将输入图像变换为输出图像的一系列步骤。 Image reconstruction 图像重构 从非图像形式构造或恢复图像的过程。 Image registration 图像配准 通过将景物中的一幅图像与相同景物的另一幅图像进行几何运算,以使其中物体对准的过程。 Image restoration 图像恢复 通过逆图像退化的过程将图像恢复为原始状态的过程。 Image segmentation 图像分割 (1)在图像中检测并勾画出感兴趣物体的处理;(2)将图像分为不相连的区域。通常这些区域对应于物体以及物体所处的背景。 Interior pixel 内象素 在一幅二值图像中,处于物体内部的像素(相对于边界像素、外像素)。 Interpolation 插值 确定采样点之间采样函数的过程称为插值。 Kernel 核 见卷积核。 Line detection 线检测 通过检查邻域将直线像素标识出来的一种图像分割技术。 Line pixel 直线像素 处于一条近似于直线的弧上的像素。 Local operation 局部运算 基于输入象素的一个邻域的像素灰度决定该像素输出灰度的图像处理运算,同邻域运算(对比:点运算)。 Local property 局部特征 在图像中随位置变化的感兴趣的特性(如:光学图像的亮度或颜色;非光学图像高度、温度、密度等)。 Lossness image compression 无损图像压缩 可以允许完全重构原图像的任何图像压缩技术。 Lossy image compression 有损图像压缩 由于包含近似,不能精确重构原图像的任何图像压缩技术。 Matched filtering 匹配滤波 采用匹配滤波器检测图像中特定物体的存在及其位量。 Measurement space 度量空间 在模式识别中,包含所有可能度量向量的n维向量空间。 Misclassification 误分类 在模式识别中,将物体误为别类的分类。 Multi-spectral image 多光谱图像 同一景物的一组图像,每一个是由电磁谱的不同波段辐射产生的。 Neighborhood 邻域 在给定像素附近的一像素集合。 Neighborhood operation 邻域运算 见局部运算(对比:点运算)。 Noise 噪声 一幅图像中阻碍感兴趣数据的识别和解释的不相关部分。 Noise reduction 噪声抑制 降低一幅图像中噪声的任何处理。 Object 目标,物体 在模式识别中,处于一二值图像中的相连象素的集合,通常对应于该图像所表示景物中的一个物体。 Optical image 光学图像 通过镜头等光学器件将景物中的光投射到一表面上的结果。 Pattern 模式 一个类的成员所表现出的共有的有意义的规则性,可以度量并可用于对感兴趣的物体进行分类。 Pattern class 模式类 可预先赋予一个物体的相互不包容的任一个类。 Pattern classification 模式分类 将物体赋予模式类的过程。 Pattern recognition 模式识别 自动或半自动地检测、度量、分类图像中的物体。 Pel 像素 图像元素(picture element)的缩写。 Perimeter 周长 围绕一物体的边界的周边距离。 Picture element 图像元素,像素 数字图像的最小单位。一幅数字图像的基本组成单元。 Pixel 像素 图像元素(picture element)的缩写。 Point operation 点运算 只根据对应像素的输入灰度值决定该像素输出灰度值的图像处理运算(对比:邻域运算)。 Quantitative image analysis 定量图像分析 从一幅数字图像中抽取定量数据的过程。 Quantization 量化 在每个象素处,将图像的局部特性赋予一个灰度集合中的元素的过程。

    时间:2020-08-05 关键词: 机器视觉

  • 影响机器视觉光源的几个参数及选择技巧

    在机器视觉系统应用中,光源的选择非常重要,它将直接影响输入数据的质量和应用效果。合适的光源将为图像采集机构提供稳定的高对比度的图像。那么如何选择一个合适的机器视觉光源,又如何评价一个光源的好坏?下面为你一一解答。 1、对比度 对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度,从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。 2、鲁棒性 鲁棒性就是对环境有一个好的适应。好的光源需要在实际工作中与其在实验室中的有相同的效果 。 3、亮度 当选择两种光源的时候,最佳的选择是选择更亮的那个。当光源不够亮时,可能有三种不好的情况会出现。第一,相机的信噪比不够;由于光源的亮度不够,图像的对比度必然不够,在图像上出现噪声的可能性也随即增大。其次,光源的亮度不够,必然要加大光圈,从而减小了景深。另外,当光源的亮度不够的时候,自然光等随机光对系统的影响会最大。 4、光源可预测 当光源入射到物体表面的时候,光源的反映是可以预测的。光源可能被吸收或被反射。光可能被完全吸收(黑金属材料,表面难以照亮)或者被部分吸收(造成了颜色的变化及亮度的不同)。不被吸收的光就会被反射,入射光的角度等于反射光的角度,这个科学的定律大大简化了机器视觉光源,因为理想的想定的效果可以通过控制光源而实现。 5、均匀性 均匀性是光源一个很重要的技术参数。均匀性好的光源使系统工作稳定 。 6、可维护性 可维护性主要指光源易于安装,易于更换 。 7、寿命及发热量 光源的亮度不易衰减过快,这样会影响系统的稳定,增加维护的成本 。发热量大的灯亮度衰减快,光源的寿命也会受到很大影响。 如何依靠光源增强图像对比度? 使用相同颜色的光或相近颜色的光源照射可以使被照射部分变亮; 使用相反颜色的光或相近颜色的光源照射可以使被照射部分变暗。 不同的波长,对物质的穿透力(穿透率)不同,波长越长,对物体的穿透力愈强,波长越短,对物质表面的扩散率愈大。 选光源的一些技巧 需要前景与背景更大的对比度,可以考虑用黑白相机与彩色光源; 环境光的问题,尝试用单色光源,配一个滤镜; 闪光曲面,考虑用散射圆顶光; 闪光,平的,但粗糙的表面,尝试用同轴散射光; 看表面的形状,考虑用暗视场(低角度); 检测塑料的时候,尝试用紫外或红外光; 需要通过反射的表面看特征,尝试用低角度线光源(暗视场); 单个光源不能有效解决问题时考虑用组合光源; 频闪能够产生比常亮照明20倍强的光;

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉工业镜头二十三名词详解

    机器视觉工业镜头二十三名词详解

    机器视觉系统中,镜头相当于人的眼睛,其主要作用是将目标的光学图像聚焦在图像传感器(相机)的光敏面阵上。视觉系统处理的所有图像信息均通过镜头得到,镜头的质量直接影响到视觉系统的整体性能。下面对机器视觉工业镜头的相关专业术语做以详解。 一、失真 可分为枕形失真和桶形失真,如下图示: 二、电视失真 实际边长的歪曲形状与理想的形状的百分比算出的值。 三、光学倍率 四、监视放大 计算方法: 例:VS-MS1+10x镜头 1/2” CCD 照相机, 14”监视器上的成像 0.1mm的物体在监视器得到的是44.45mm的成像 ※有时根据TV监视器的扫描状态,以上的简易计算将有一些变化。 五、解析度 表示了所能见到了2点的间隔0.61x 使用波长(λ)/ NA=解析度(μ) 以上的计算方法理论上可以计算出解析度,但不包括失真。 ※使用波长为550nm 六、解像力 1mm中间可以看到黑白线的条数。单位(lp)/mm. 七、MTF(ModulaTIon Transfer FuncTIon) 成像时再现物体表面的浓淡变化而使用的空间周波数和对比度。 八、工作距离(Working Distance) 镜头的镜筒到物体的距离 九、O/I(Object to Imager) 物像间距离即物体到像间的长度。 十、成像圈 成像尺寸φ,要输入相机感应器尺寸。 十一、照相机 Mount C-mount: 1" diameter x 32 TPI: FB: 17.526mm CS-mount: 1" diameter x 32 TPI: FB: 12.526mm F-mount: FB:46.5mm M72-Mount: FB 厂家各有不同 十二、视野 (FOV) 视野指使用照相机以后看到的物体侧的范围 照相机有效区域的纵向长度(V)/光学倍率(M)=视野(V) 照相机有效区域的横向长度(H)/光学倍率(M)=视野(H) *技术资料上的视野范围是指由光源及有效区域的一般数值计算出来的值。 照相机有效区域的纵向长度(V)or(H)=照相机一个画素的尺寸&TImes;有効画素数(V)or(H) 来计算。 十三、景深 景深是指成像后物体的距离。同样,照相机侧的范围称为焦点深度。具体的景深的值多少略有不同。 十四、焦距 (f) f(Focal Length)光学系的后主点(H2)到焦点面的距离。 十五、FNO 镜头从无限远时,亮度表示的数值,值越小越亮。FNO=焦距/入射孔径或有効口径=f/D 十六、实效F 有限距离时镜头的明亮度。 实效F = (1 +光学倍率) x F# 实效F = 光学倍率 / 2NA 十七、NA(Numerical Aperture) 物体侧的 NA = sin u x n 成像侧的NA' = sin u'x n' 如下图所示 入社角度 u, 物体侧折射率n, 成像侧的折射率' n' NA = NA' x 放大率 十八、边缘亮度 相对照度是指中央的照度与周边的照度的百分比。

    时间:2020-08-05 关键词: 机器视觉

  • 机器视觉的光源基础知识的问答

    机器视觉的光源基础知识的问答

    随着行业的发展,全面、可靠的机器视觉技术已经成为各大领域不可获取的解决方案,其应用行业也在不断扩张。以下是机器视觉之光学基础知识的相关问题。 1、发光强度(光度)的含义是什么? 答:发光强度(光度,I)定义为:点光源在某一方向上的发光强度,即是发光体在单位时间内所射出的光量,也简称为光度,常用单位为烛光(cd,坎德拉),一个国际烛光的定义为以鲸鱼油脂制成的蜡烛每小时燃烧120格冷(grain)所发出的光度,一格冷等于0.0648克。 2、发光强度(光度)的单位是什么? 答:发光强度常用单位为烛光(cd,坎德拉),国际标准烛光(lcd)的定义为理想黑体在铂凝固点温度(1769℃)时,垂直于黑体(其表面积为1m2)方向上的60万分之一的光度,所谓理想黑体是指物体的放射率等于1,物体所吸收的能量可以全部放射出去,使温度一直保持均匀固定,国际标准烛光(candela)与旧标准烛光(candle)的互换关系为 1candela=0.981candle。 3、什么叫做光通量?光通量的单位是什么? 答:光通量(φ)的定义是:点光源或非点光源在单位时间内所发出的能量,其中可产生视觉者(人能感觉出来的辐射通量)即称为光通量、光通量的单位为流明(简写lm),1流明(lumen或lm)定义为一国际标准烛光的光源在单位立体弧角内所通过的光通量,由于整个球面面积为4πR2,所以一流明光通量等于一烛光所发出光通量的1/4π,或者说球面有4π,因此按照流明的定义可知一个cd的点光源会辐射4π流明,即φ(流明)=4πI(烛光),假定△Ω为很小的立体弧角,在△Ω立体角内光通量△φ,则有△φ=△ΩI。 4、一英尺烛光的含义是什么? 答:一英尺烛光是指距离一烛光的光源(点光源或非点光源)一英尺远而与光线正交的面上的光照度,简写为1ftc(1 lm/ft2,流明/英尺2),即每平方英尺内所接收的光通量为1流明时的照度,并且1ftc=10.76 lux。 5、一米烛光的含义是什么? 答:一米烛光是指距离一烛光的光源(点光源或非点光源)一米远而与光线正交的面上的光照度,称为勒克斯(lux,也有写成lx),即每平方公尺内所接收的光通量为1流明时的照度(流明/米2)。 6、 1 lux的含义是什么? 答:每平方公尺内所接收的光通量为1流明时的照度。 7、照度的含义是什么? 答:照度(E)的定义为:被照物体单位受照面积上所接受的光通量,或者说受光照射的物体在单位时间内每单位面积上所接受的光度,单位以米烛光或英尺烛光(ftc)表示。 8、照度与光度、距离之间有什么关系? 答:照度与光度、距离间的关系是:E(照度)=I(光度)/r2(距离平方) 。 9、被照体的照度大小与哪些因素有关? 答:被照体的照度与光源的发光强度及被照体和光源之间的距离有关,而与被照体的颜色、表面性质及表面积大小无关。

    时间:2020-08-05 关键词: 机器视觉

首页  上一页  1 2 3 4 5 6 7 8 9 10 下一页 尾页
发布文章

技术子站

更多

项目外包