大力推动AI Code Wags 硬件的发展

加利福尼亚州圣何塞——在人工智能中，硬件是尾巴，软件是狗——这是一只非常活跃的狗。只需浏览流行的arXiv.org网站，即可找到每天发布的一到两篇新研究论文。

Wei Li 在英特尔领导一个致力于机器学习的软件团队，他滔滔不绝地列出了十几个流行的卷积、循环和其他神经网络模型。添加另一层，大多数大型云和芯片供应商都创建了自己的框架，以在其平台上优化构建和运行模型。

“有多种拓扑和框架需要测试，”他说。

不要让复杂性压倒你，BabbleLabs 的首席执行官 Chris Rowen 说，这是一家为音频任务创建 DNN 引擎的初创公司。“神经网络的结构对效率很重要，但其中任何一个都可以完成工作，”他说。“在很多情况下，这几乎是风格问题。”

自动化学习可能是推动软件变革的最强大的大趋势。可能需要几十年的时间才能演变成仍然被认为是一种科幻小说——可以独立于人类学习的机器。与此同时，研究人员正在帮助今天的神经网络朝着这个方向迈出一小步。

“在我看来，人工智能的未来是自我监督学习，”被认为是卷积神经网络之父的 Yann LeCun 说，现在广泛用于计算机视觉和其他系统。他在最近的一篇论文中写道：“趋势是越来越依赖于无监督、自我监督、弱监督或多任务学习，在这些学习中，更大的网络表现得更好。”

广义对抗网络作为一种让系统做出自己的预测的技术，正在显示出前景。在最近的一次演讲中，LeCun 展示了用于设计时尚服装和引导自动驾驶汽车的 GAN 示例。他还提到了 BERT 等工作，这是一种使用谷歌最近开源的未标记数据的预训练技术。

这样的代码需要大铁和大量内存，未来的算法将需要更大的模型。LeCun 说，明天的神经网络也将更加动态和稀疏，使用新的基本原语，如动态、不规则图。

从长远来看，“一个希望是，训练一个预测视频的系统将使它能够发现世界上许多隐藏的规律、几何和物理学……[由此产生的预测模型]可能成为智能系统的核心……对于此类应用例如机器人抓取和自动驾驶，”他补充道。

对于为三星智能手机设计 AI 模块的 Jinook Song 等工程师来说，近期的挑战尤其严峻。他最近描述了最新的 8 纳米 Exynos 芯片中的 5.5 毫米2 块，当神经网络允许修剪多达四分之三的重量时，该芯片的性能达到 6.937 TOPS。

他没有踩刹车。当被问及他对下一代最想要什么时，他说手机功率预算中的某种学习能力。

今天，强化学习的用途有限，但引起了广泛关注，这部分归功于谷歌在围棋和其他游戏中与人类专家对弈的结果。英特尔的 Wei Li 表示，该技术将在未来的自动驾驶汽车中发挥关键作用。

“强化学习就像一个代理，它尝试事物并查看它们在现实世界中的工作方式，通常是在通用 CPU 上进行模拟”，因此它可能需要对定制芯片上的代理和运行模拟的 CPU 进行加速，Dave Patterson 解释说，他是一位资深的计算机研究人员，现在在 Google 工作了一段时间。

由于使用了时域编码，佐治亚理工学院的研究人员最近在低端系统上进行了强化学习。参与该项目的 Arijit Raychowdhury 说，为该系统阐明正确的奖励是一大挑战——这可能是一个全新的计算机科学领域。

例如，在一个项目中，学生们仔细定义了奖励，以鼓励无人机最大限度地延长电池寿命。它做到了——不动。“参数太多，很容易弄错，”Raychowdhury 说。

“深度强化学习是去年伯克利最热门的课程之一，”韩国科学技术高等研究院教授 Hoi-Jun Yoo 说。“这项技术看起来很有前途，但有很多变化，而且算法仍在开发中，因此尚不清楚它们如何影响硬件。”

同时，中间件也在发展。今天的 AI 程序员“不像传统程序员那样选择一种语言并坚持使用 20 年，”帕特森说。“显然，每隔几年，研究人员就会换马……这个领域非常令人兴奋，算法不断改进。”

MPEG 社区即将参与进来。本月，它正在评估最初的提案，以响应去年秋天提出的关于使用 MPEG 压缩经过训练的神经网络的方法的呼吁。诺基亚是积极响应者之一。

它的早期阶段，尤其是对于嵌入式环境，与数据中心运营商开始理解的早期工具和方法相去甚远。“为嵌入式系统开发深度学习并不适合胆小的人，”Rowen 说。“使一切正常运行需要限制、错误、工具组合……而且实施仍然不完整和不成熟。”

该领域一家初创公司的首席执行官表示，用于构建和运行神经网络模型的新兴企业软件产品类别也是如此。“这个行业到处都需要抽象层，但它们还不存在，”Determined AI 的 Evan Sparks 说。“缺乏标准文件格式来导出框架和协议之间的模型以构建协同工作的工具——这是工具领域的狂野西部。”

这也是一次淘金的机会。“我对市场的最佳代理和下限是 Nvidia 去年的数据中心收入约为 40 亿美元，高于三年前的约 2 亿美元——几乎全部用于深度学习，”Sparks 说，他的客户涉及从半导体等各个领域和基因组学到废物管理。

今天，最好的神经网络软件“存在于 Facebook、谷歌和微软的四堵墙内，”他说。“他们正在构建比任何人都更多更好的模型，并且拥有只能在内部使用的高级软件，但我的目标是让其他人也可以使用这种质量的软件。”