当前位置:首页 > 半导体 > 安森美(onsemi)
[导读]图像传感器的开发正在从仅提供RGB和二维坐标信息转移到新的更丰富的形式。图像传感器可提供更多类型的数据,无论是深度数据还是增加的光谱信息,以及AI合并这些数据集并实现高级决策,从而使系统能够通过新的测量和决策机会提供更快、更准确的结果。

市场对高分辨率的需求不断增长

越来越多的应用对分辨率有了很高的需求,例如手机/电视/电脑显示器的LCD、OLED屏幕检测。在这检测应用中,使用相机检测显示器的输出,以查找显示亮度的均匀性、颜色准确性、线条缺陷、颗粒缺陷等。这就要求检测相机提供非常高的图像质量和高度均匀性,以确保相机中的质量问题不会被误解为显示器中的产品缺陷。

显示屏实际上都由红绿蓝等多个LED子像素组成,检测系统需要能够解析所有这些子像素,以便正确成像和显示并确认设备的质量,为提高检测的精度和可靠性,行业中通常会使用图像传感器靶面的3x3,或者4x4, 甚至5x5个像元来识别显示屏设备的一个LED子像素,这就需要用到更多的传感器像元个数,并且随着显示器分辨率的不断提高-从传统高清到4k到8k甚至更高,检测相机所需的分辨率也在不断提高,才不会牺牲应用所需的高图像质量和均匀性,为AI算法的精度提供更可靠的数据支持。

又如另一个常见的工业成像应用是印刷电路板检测,以确认电路板组件上的集成元器件、电容器、电阻器等已正确安装并焊接到位。电路板的检测速度是受图像分辨率和帧率的组合影响,图像中能够捕获的电路板尺寸面积越大,一次可以检测的电路板就越多,图像能捕获的越快,检测的效率就越高。

虽然当前市场上提供的图像传感器可以每秒输出约500或1400个像素的数据,但是安森美半导体的XGS 45000可以以接近1900个像素/秒的速度捕获更多的图像数据用于算法判断,比竞争对手快3倍以上,图像数据宽度可以达8000个像素。高分辨率和高带宽的结合使这种检测应用的AI算法可以更快,更有效地执行,从而提高了制造过程的生产率。

领先的智能感知技术和方案应对工业人工智能应用挑战 第二篇

图2:XGS 45000的演示效果

再如用于监控或广播的影像应用,图像需求结合了上述性能,该应用对图像质量的要求非常高,市场对分辨率的需求也不断增长,从高清到4K到现在的8k,高分辨率提供了更强大的图像结构和细节可以看到宽视野的能力,还提供了用于AI分类的裁剪开窗的选项,来放大感兴趣的内容。

安森美半导体的XGS 45000图像传感器实际上具有比8k视频所需的分辨率更高,不仅可以使用少量裁切来提供8k视频,还由于XGS 45000具有很高的带宽,它可以60帧每秒的速度提供8k视频以及完整的12位输出,满足了该应用所需的高分辨率、高带宽和高图像质量。

值得一提的是,安森美半导体也提供完整的参考设计X-Cube,基于X-class图像传感器系列, 在1.1英寸光学格式提供1600万像素分辨率,提供用于机器视觉和ITS的 29 mm x 29 mm工业相机占位所需的成像细节和性能,且一个摄像机可支持多种分辨率,帮助设计人员加快开发。

领先的智能感知技术和方案应对工业人工智能应用挑战 第二篇

图3:高分辨率X-Cube 系统用于29 mm x 29 mm 相机设计

从仅捕获RGB信息和X,Y二维信息到添加深度信息或多光谱区域信息

除了图像传感器的性能提升,另外更为丰富的成像信息的集成也可以增强人工智能的性能,逐渐成为工业客户做出明智决策的关键。

通过对多种模式和AI处理的投资,也使得安森美半导体具备独特的优势,从仅提供三种红绿蓝(RGB)组成的成像系统发展到添加详细的光谱特征,这样可以在检测中看到RGB无法识别的地方。使用12比特位的图像数据,可以提高识别图像的精度,从仅提供x、y二维定位信息到使用结合了深度像元技术或毫米波雷达、激光雷达技术和图像融合后带来深度信息,可更深入地了解检测对象的全部体积大小高度等的信息,也就是深度学习。

所以现在图像传感器的开发正在从仅捕获RGB信息转移到新的形式,增强的数据集提供的信息将不仅仅是颜色和二维位置。图像传感器的厂家都在开发新技术以获取更可靠的深度信息或者多光谱区域信息。

比如开发通过融合内部不同数据流的Super Depth像元技术,开发通过有规律的结构,调制入射光振幅或相位的衍射光栅技术,开发基于单光子雪崩二极管(SPAD)和硅光电倍增管(SiPM)的传感器等方式来实现为图像提供更多的深度信息。

或者开发基于等离子体波导滤波片,或以法布里-珀罗(F-P)结构原理为基础的多通道分光滤光片制造技术实现在更多的光谱区域成像的超多光谱技术。

神经网络处理

随着人工智能的发展,分类系统设计需要功能强大的图像处理单元(GPU)或张量处理单元(TPU)神经网络处理器,因为训练和推理都需要大量计算,人工智能界正在面临前所未有的算力挑战,网络拓扑需要数亿个乘法和加法逻辑计算(MAC),需要数百万个卷积神经网络参数,就比如能实现分类/目标检测/语义分割等多目标任务的MobileNetV2结构就具有3亿个MAC计算和420万个参数,但这相对于ResNet微结构,已经是减少了9倍的计算量。

训练过程由于涉及海量的大数据和复杂的深度神经网络结构,需要的计算规模非常庞大,通常需要GPU或云去完成,推断部署环节的计算量相比训练环节会少一些,但仍然涉及大量的矩阵运算,通常在边缘的高功率GPU / TPU上执行以实现低延迟。面对深度学习的训练和推断的算力需求,市场上大部分使用的是NVIDIA的GPU或google的TPU来实现。

AI的发展

要真正实现快速决策,AI也需要发展。如今,用于成像的AI决策已从云过渡到边缘再迁移到与成像系统本身。

比如把AI的训练环节保留在GPU或云端,利用堆栈工艺可以将决策或甚至与之相关的一些预处理集成到图像传感器上,比如在传感器上集成用于图像识别的底层或者轻算力的卷积神经网络层,集成具有内存的数字矩阵乘法计算单元体系结构。这些AI功能集成在图像传感器中都将会实现,也已经有公司发布了内置人工智能引擎的图像传感器芯片。

如安森美半导体的融合了AI的水果新鲜度分类系统的演示,整个ECOsystem是基于安森美半导体的AR1335的相机和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2结构来处理分类新鲜和腐烂的苹果、橘子、香蕉等6类多达上万个CNN训练参数,可以识别三种水果及其新鲜度,这个系统的准确率达到97%以上。

领先的智能感知技术和方案应对工业人工智能应用挑战 第二篇

图4:AI用于机器视觉,识别水果新鲜度

总结

图像传感器的开发正在从仅提供RGB和二维坐标信息转移到新的更丰富的形式。图像传感器可提供更多类型的数据,无论是深度数据还是增加的光谱信息,以及AI合并这些数据集并实现高级决策,从而使系统能够通过新的测量和决策机会提供更快、更准确的结果。安森美半导体是工业机器视觉的领袖之一,以全方位的智能感知产品阵容和领先的技术,应对工业AI应用挑战并推进智能制造的创新。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着科技日新月异的进步,语音识别技术已成为人工智能领域的一项核心突破。这项技术旨在模拟人类听觉系统,通过复杂算法和模式识别手段将连续或离散的语音信号转换为可理解的文本或指令信息。本文深入探讨了语音识别技术在多个领域的广泛...

关键字: 语音识别 人工智能

随着人工智能和信息技术的飞速发展,语音识别技术已经从实验室走向了现实生活中的各个角落,成为人机交互领域的重要组成部分。语音识别产品不仅丰富了我们的日常生活,也正在深刻地改变着众多行业的工作模式和服务形态。

关键字: 语音识别 人工智能

在当今大数据和人工智能时代,机器学习作为核心的技术驱动力,正以前所未有的速度改变着我们的生活和工作方式。从基础的数据分析到复杂的决策支持系统,机器学习模型的成功构建和应用离不开一套严谨的流程。本文将详尽阐述机器学习过程中...

关键字: 机器学习 人工智能

机器学习作为人工智能领域的核心技术,其应用日益广泛,从搜索引擎优化到医疗诊断,从金融风控到自动驾驶等众多领域均发挥着重要作用。深入理解并掌握机器学习的关键步骤是成功构建高效模型和解决方案的基础。本文将详细阐述机器学习的主...

关键字: 机器学习 人工智能

是德科技(Keysight Technologies, Inc.)现已开启与全新 NVIDIA 6G 研究云平台的合作。该平台包括 NVIDIA Aerial Omniverse 数字孪生,这是一个开放、灵活的网络仿真资...

关键字: 6G 人工智能 RAN

纵观人类近现代史,每一次工业革命都是将战略性科技转化为生产力,从而创造巨大的新增财富和全面提升国家竞争力的过程;而且一个国家在工业革命面前的“沉与浮”,则取决于一个国家对这些战略性科技和产业化能力的把控。从被称为蒸汽机时...

关键字: 人工智能 算力 大模型

Arm Neoverse 旨在为从云到边缘的全场景基础设施用例提供高性能和出色能效。针对需要更高性能的工作负载和用例,Arm 推出了 Neoverse V 系列。其中,Neoverse V2 核心已被行业先行者广泛部署于...

关键字: 云计算 人工智能 CPU

本文中,小编将对人工智能AI予以介绍,如果你想对它的详细情况有所认识,或者想要增进对它的了解程度,不妨请看以下内容哦。

关键字: 人工智能 AI

在这篇文章中,小编将为大家带来人工智能AI的相关报道。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。

关键字: 人工智能 AI

“人工智能+”时代将至 超过90%的受访企业将招聘人工智能人才列为首要任务,但62%的受访企业在招聘所需人才时面临困难

关键字: 人工智能 生成式AI 机器学习
关闭
关闭