当前位置:首页 > 新基建 > 新基建
[导读]今天,我们将讨论计算机视觉。我们将听到 Perceive 的首席执行官 Steve Teig 谈论他提出的一种压缩激活的方法,该方法可以减少 AI 推理所需的内存大小。我们还将先睹为快,了解来自 GrAI Matter Labs 的新型神经形态启发式视觉芯片。

今天,我们将讨论计算机视觉。我们将听到 Perceive 的首席执行官 Steve Teig 谈论他提出的一种压缩激活的方法,该方法可以减少 AI 推理所需的内存大小。我们还将先睹为快,了解来自 GrAI Matter Labs 的新型神经形态启发式视觉芯片。

但首先:计算机视觉会再次自我改造吗?我有幸听到了匹兹堡大学眼科教授、CMU 机器人研究所兼职教授 Ryad Benosman 教授。他也是我们今天所知的神经形态视觉的创始人之一,即基于事件的视觉。

基于事件的视觉的想法是基于生物视觉系统的工作方式,检测场景动态的变化,而不是像主流的基于人工智能的计算机视觉系统那样连续分析整个场景。Benosman 不想完全复制大脑或视网膜。“没有必要在硅中制作神经元的精确复制品,”他说。当然,部分问题在于我们今天还没有完全理解神经元之间的所有信号。如果我们不了解大脑是如何工作的,我们怎么能复制它呢?

Benosman 还认为,如果我们没有生物计算基础来运行大脑,那么复制大脑是没有意义的。相反,我们所做的需要适应硅的质量。

当基于事件的视觉是一个新想法时,该领域的开创性工作是如此新颖和与众不同,以至于最初的论文被当时领先的计算机视觉期刊拒绝,甚至没有经过审查。只是不相信计算机视觉可以在没有全帧图像的情况下工作。但是今天,有几种基于事件的商业视觉传感器可供包括 Prophecy 在内的公司使用。但 Benosman 认为在处理方面肯定有改进的余地。

我们还将与神经形态视觉领域的初创公司 GrAI Matter Labs 进行了交谈。该公司有效地从基于事件的愿景中借鉴了一些概念。他们不使用基于事件的传感器;该芯片处理全帧图像。但是,在处理阶段应用了查找事件的概念。他们更像是一种稀疏性。通过关注正在发生某些事情的视频区域,它们可以使数据更稀疏,因此您可以更有效地处理它。如果你有合适的芯片,那就是。Grai Matter 当然为此专门制造了一个芯片。

什么样的应用程序需要这个功能?有点基于事件,但不是基于事件。Grai Matter 正在将他们的技术应用于最终产品供人类消费的应用。他们的芯片适用于媒体处理应用程序,您可以在其中处理高质量的视频,并可能以某种方式使用人工智能来操纵视频作为该过程的一部分。所以输出也是高质量的视频,而不仅仅是用于做出决定的元数据或信息。

今天,世界上大多数人都关心理解音频和视频,并且您可以从中获取元数据。所以没有人真正关心原始提要发生了什么,不是真的。你可以做一些覆盖,但这并不重要。因此,所有的架构基本上都将尽可能多的 max 塞进他们的架构中,并且尽可能少地精确地获取元数据。但这只是让我们到目前为止。为您提供元数据:框、动作信号等等。我们希望为消费者在家中和工作场所改变音频和视频体验。为了改造它,你需要一个不同的架构。该架构在延迟和质量方面确实有很多不同的要求要满足。指标非常不同。

GrAI Matters 芯片的一个不同寻常的方面是它使用 16 位浮点精度。对于通常我们试图尽可能降低精度的边缘芯片来说,这是非常不寻常的。作为神经形态提供商的关键方面之一是我们所有的 Mac 操作都是在 16 位浮点中完成的。与几乎所有其他边缘架构相比,这有点独特。正如你所看到的,很多人当然会通过使用 8 位 int 来权衡功率和效率,对吗?这基本上给你带来了很多好处。现在有了稀疏性和基于事件的处理,我们不得不进行 16 位浮点运算,因为我们要跟踪过去发生的事情。但我们基本上领先了,因为有很多积极的东西可以得到,16 位浮点对我们来说不是开销。事实上,它在实时处理方面的一些关键用例中为我们提供了相当多的帮助。


声明:该篇文章为本站原创,未经授权不予转载,侵权必究。
换一批
延伸阅读

随着科技的不断发展,人脸识别技术已经广泛应用于各个领域,如手机解锁、门禁系统、支付验证等。在考勤管理领域,人脸识别考勤机也逐渐取代了传统的指纹考勤机和刷卡考勤机,成为了许多企业的首选。然而,任何技术都有其局限性,人脸识别...

关键字: 人脸识别 考勤机 计算机视觉

通用人工智能(Artificial General Intelligence,AGI)是指具有类似于人类综合智能的人工智能系统。它能够执行多种任务,并在没有人类干预的情况下独立学习和改进。通用人工智能的目标是创建一种能够...

关键字: 人工智能 智能系统 计算机视觉

12月11日,2023中国浙江网上技术市场活动周暨首届浙江科技创新合作大会在杭州举行。湖畔实验室(阿里巴巴达摩院)的三项技术成果“医疗AI胰腺癌早筛技术”“遥感影像AI解译通用模型”“基于最新一代标准的编解码方案Ali2...

关键字: 计算机视觉 深度学习模型 Al

英特尔研究院将重点展示31项研究成果,它们将推进面向未来的AI创新。

关键字: AI 计算机视觉 AI驱动

专为中国计算机视觉市场优化设计, Metavision® EVK5 是一款高速、经济高效、紧凑的评估套件

关键字: 视觉传感器 计算机视觉 索尼

MATLAB是美国MathWorks公司出品的商业数学软件,用于数据分析、无线通信、深度学习、图像处理与计算机视觉、信号处理、量化金融与风险管理、机器人,控制系统等领域。

关键字: matlab软件 计算机视觉 信号处理

MATLAB是美国MathWorks公司出品的商业数学软件,用于数据分析、无线通信、深度学习、图像处理与计算机视觉、信号处理、量化金融与风险管理、机器人,控制系统等领域。

关键字: matlab 程序设计 计算机视觉

MATLAB是美国MathWorks公司出品的商业数学软件,用于数据分析、无线通信、深度学习、图像处理与计算机视觉、信号处理、量化金融与风险管理、机器人,控制系统等领域。

关键字: matlab 计算机视觉 信号处理

最近的数据显示,可持续发展正跃升为企业议程的重要事项——近一半(48%)的全球首席执行官表示,提高可持续性是他们的首要任务之一,较 2021 年以来增长了 37%。2023 年对企业的期待不仅是要制定雄心勃勃的可持续发展...

关键字: 人工智能 计算机视觉 知识图谱

在人工智能这一关乎全人类前途和命运的重大问题上,中国展现出了负责任大国应有的胸怀和担当,从构建人类命运共同体的历史和战略高度回答了这一问题,并积极贡献中国智慧和方案。2021年9月,中国国家新一代人工智能治理专业委员会发...

关键字: 人工智能 计算机视觉 具身图灵测试
关闭