TinyML 适合单片机的机器学习
时间：2021-09-10 16:36:57
手机看文章
扫描二维码
随时随地手机看文章
[导读]作者C.J.Abate(美国)译者君谦机器学习(ML)作为人工智能的一个子类，在各个领域(包括大气科学和计算机视觉)都得到了广泛的应用。正如哈佛大学博士MatthewStewart所说，tinyML是一个新兴的发展学科，它能够在资源受限的微控制器上实现低资源消耗、低功耗的机器学习...
作者 C. J. Abate(美国)译者 君谦
机器学习(ML)作为人工智能的一个子类，在各个领域(包括大气科学和计算机视觉)都得到了广泛的应用。正如哈佛大学博士Matthew Stewart所说，tinyML 是一个新兴的发展学科，它能够在资源受限的微控制器上实现低资源消耗、低功耗的机器学习算法。
C.J.Abate：让我们从您的背景开始。您是什么时候对机器学习感兴趣的? 您是因为编程或硬件设计的背景而选择该领域的吗? Matthew Stewart：我的本科专业是机械工程，这给了我一些编程和机电一体化的经验。但是，直到进入哈佛大学，我才开始学习机器学习。在博士学位研究的第一年，我参加了哈佛大学的数据科学入门课程，激起了我对机器学习的兴趣，那时我意识到了机器学习的巨大潜力，无论是一般性的应用，还是专门用于大气研究的。 Abate：是什么使您进入哈佛大学的? Stewart：显然，哈佛大学是世界上顶尖的研究机构之一，在这里学习是许多富有热情而努力的学生的目标。我的老师的研究兴趣也吸引了我，他们使用无人机研究了热带亚马逊雨林。在获得机械工程学位的过程中，我对转向环境科学产生了兴趣，因为对我来说，越来越明显的是，现代时代定义的大多数工程问题将是环境问题，即气候变化、能源安全和可持续性。根据我的兴趣和工程背景，这项关于亚马逊雨林无人机的工作似乎是理想的，是来哈佛的主要刺激因素。 Abate：作为一名环境科学家，您如何使自己了解嵌入式系统和编程? 要紧紧掌握Al领域的所有新发展以及传感器技术，嵌入式系统等方面的创新一定很困难。您是如何了解这些不同学科的? Stewart：这些领域不断地迅速发展，对许多研究生和学者来说，这是一个非常现实的问题。就个人而言，我使用了几种资源来保持学科信息的更新。首先，Twitter可以成为发现该领域其他学者发表的新研究的好平台。我也是一些Slack频道的粉丝，在该频道中，同事定期共享有关相关主题的新闻和研究文章。我还定期回顾发表在相关期刊上的新论文，以寻找任何特别引人注目和值得详细阅读的东西。幸运的是，大多数已发表的作品与我自己的研究没有什么关系，而更广泛的趋势往往是大学内各部门和兴趣小组进行的研讨会演讲的主题工作。 Abate：虽然几个月前我在一次DanielSitunayake的采访中提到了细节，但对Elektor全球社会的许多工程师来说，这仍然是一个新的主题。您如何定义tinyML? 它是否是在边缘微控制器上运行机器学习应用程序的一种最基本的方法? Stewart：是的，这实际上就是我们的目标。tinyML不是一种特定的技术或一系列的原则，确切地说，它更像是一种涉及计算机架构、性能工程和机器学习领域协同作用的重要学科。其首要目标是在资源受到限制的微控制器上实现快速、低资源和高效的机器学习算法。这还可能涉及到为特定任务开发定制的硬件，开发专门为资源约束设计的新算法或新的工具来移植算法，或是优化各种硬件架构的性能。本文提出了一个有用的指导方针，将tinyML作为机器学习的应用程序应用到小于1 MB的随机存取内存和功耗低于1 mW 的微控制器上，但这绝不是一个严格或详尽的定义。 Abate：需要明确的是，我们并非在讨论像NVIDIA 和树莓派这样的设备，而是关注受资源限制的设备(即小于1 mW 和千字节，而不是兆字节)，对吗? Stewart：是的。像树莓派和NVIDIA这些设备并不是tinyML的重点，也不是与自动驾驶技术相关的应用，这些场景通常都需要较多的计算资源。我们研究的重点是“资源约束”。对于tinyML，我们必须就如何有效地优化算法的性能做出明智的决定，以便适应应用程序和硬件特定的限制。 例如，在某些应用中，必须同时具有快速推断和高精度性能，以提高推断速度，我们可以使用8位算术代替浮点算术，但这会影响算法的准确性，也将影响算法所需的内存和计算资源。这个示例有助于理解为什么我将tinyML视为一门原始工程学科，因为我们更多考虑的是必须满足需求，但往往是这些要求都存在直接竞争，因此必须进行平衡。 Abate：您能提供一些实际应用的例子吗? Stewart：实际上，已经有一些在智能手机中使用tinyML的例子。其中一个重要的例子是关键词发现，它涉及检测诸如“Hey Siri”和“Hey Google”之类的单词。如果智能手机使用CPU 连续监测麦克风并检测到这些单词，那么手机电池只能使用几个小时。相反，一个轻量级的数字信号处理器能够持续检测这些单词。当有人提及关键词时立刻唤醒CPU，并验证是否来自已知的麦克风，然后等待其他的语音输入。 还有一个例子存在于智能手机中，用于监测用户何时拿起手机。来自车载惯性测量单元和陀螺仪的数据被持续监测，当用户拿起他们的手机时，一组信号会通知设备、唤醒CPU。 另一个有用的例子是人体检测，连接到相机的微控制器可以检测个体的存在。例如，检测用户是否佩戴口罩，这在目前疫情大流行期间特别实用。异常检测可能成为工业中的一个重要用例，来自重型机器的信号可以被连续监测，实现设备的异常检测功能。 Abate：在2019 年，您发表了一篇引人入胜的文章———“科学研究中的机器学习危机”，探讨了机器学习是否会导致科学中的“可再现性危机”的问题，例如，如果科学家在实验中使用了知之甚少的ML算法，这可能意味着其他科学家无法重现这些原创性研究成果，甚至非专业人士也可以在那里发现问题。我认为机器学习与统计数据的争论在过去一年中愈演愈烈。您现在如何看待这一问题? Stewart：我认为这在学术界仍然是一个重要的问题。我在此主题上发表的文章是针对可再现性危机的，该危机首次由哈佛商学院前教授Amy Cuddy在功率主题方面所做的一些工作上的争议中引出。 Andrew Gelman撰写了一篇有影响力的论文，谴责心理学领域的不良研究实践，包括使用P图等技术进行虚假的数据分析和挑选数据来产生具有统计学意义的结果。这产生了一系列旨在再现心理学文献中的一些重要结果的实验，其中许多是不可再现的。这暴露了研究过程中的一个缺陷，即可再现性研究通常没有资金资助，因为它们被认为是不必要的并且浪费资源。从这时起，可再现性研究危机也被发现影响到其他领域，包括文学和经济学。 自然，这种对研究过程完整性的破坏导致对使用大数据集和机器学习的担忧。给定数据集中足够多的变量，最终不可避免地会出现一些具有统计意义的结果。这表明虚假数据将更容易找到，但是只有在实验被设计为专门测试该假设而不是同时进行多个假设的的情况下测试才是有效的，所以大数据可以更容易用数据进行“欺骗”。而对于机器学习呢? 机器学习的使用使它更容易“隐藏”作弊。许多机器学习算法的可解释性降低，而且许多研究社区缺乏机器学习背景，因而在发表的研究中很难发现这些问题。幸运的是，解决这个问题的方法非常简单———资助可再现性研究，并对研究人员关于实验的正确设计和机器学习在研究中的应用进行培训。 Abate：您在文章中提出了一个有趣的观点———“机器学习算法的另一个问题是算法必须做出预测，而不能说我什么也没找到”。听起来机器学习并非总是有效。 Stewart：虽然我同意机器学习不适合完成一些任务，但我不认为是由于这个原因。例如，由任务转换为二元分类问题所提出的问题之一，它们实际上可能不能被最好地总结出来，从而导致错误的二分法;在某些情况下，它可能更适合对靠近决策边界的数据进行分析，而不是让算法做出一个明确的决定。这种类型的决策有时被称为“人类循环决策”，在所做的决定有重要影响的情况下，它将最有用，比如决定是否提供贷款或是否患有癌症。 Abate：您认为在tinyML的哪些行业中会有巨大的创新机会? Stewart：总的来说，我认为在这一领域工作的许多人都在期待tinyML可以引发一场新的工业革命。出于这个原因，一些人开始将这个新设想的工业阶段称为“工业4.01阶段”。在这个阶段，任何使用大量loT设备的行业都将因使用tinyML 而受益匪浅，包括减少了与tinyML相关的功耗和网络负载。 更具体地说，某些行业可能会从tinyML提供的新功能中获得更大的好处。农业就是一个很好的例子。在农业中使用tinyML可实现智能感应功能，而无需连接到电网，这可以帮助确定某些作物何时要收获或需要额外的肥料或水。 另一个很好的例子是重工业，正如前面提到的那样，通过使用异常检测进行预测维护可以节省成本和提高效率。预先发现大型机械的运输问题可能比灾难性故障更便宜，生产力损失也更小。 Abate：那么那些对开发节能计算解决方案感兴趣的公司呢? Stewart：苹果和ARM 可能是目前最大的专注于节能计算的公司。高性能和高效架构的开发在智能手机中至关重要，不仅可以延长手机电池寿命，而且能够增强功能、提升运行速度。近年来，我们看到移动架构在性能方面功率效率大幅提高，而英特尔等竞争对手的传统架构则相对停滞不前。因此，移动体系结构现在不仅可以与更传统的体系结构相媲美，还有几个独特的优点，包括功率系统的高效率。最近，苹果公司对外宣布了最新基于ARM 的M1芯片，声称它将提供Mac电脑有史以来最长的电池寿命。苹果的这一举动被一些人视为计算行业的一个分水岭，未来几年将在社区中产生连锁效应。 Abate：请介绍一下您在无人机和化学监测系统方面的工作。tinyML在您的研究中扮演什么角色? Stewart：目前，使用tinyML进行一些微无人机应用的工作已经发布。这样做的重点是创造能够借助嵌入的强化学习方法实现智能导航的轻量级无人机。这对于室内和室外应用中检测气体泄漏或定位污染物排放源等可能非常有用。 对于更广泛的化学监测系统，tinyML可以提供创建与电网断开的远程定位传感器网络的能力，以及更智能地使用化学传感器信息。例如，该系统可以被设计为只关注异常数据，而不是连续地向云服务器传输数据。这将减少通信系统上的网络以及与执行持续监控相关的功耗。随着设备数量的指数级增长，近些年来这些方面将变得越来越重要。 Abate：您的文章和研究很可能会激励许多人更加投入地研究tinyML。专业工程师和电子爱好者或许想了解更多关于这个主题的知识。除了PeteWarden和DanielSitunay这样的书外，您还可以推荐一些其他资源吗? Stewart：不幸的是，尖端技术的一个缺点是往往只有少数可用的资源。话虽如此，我们还是开始看到同行中有人定期发布关于tinyML的文献，其中相当一部分是发表在预印服务器arXiv上的。我猜测很快就会有几家期刊专门关注这个话题。另一个资源是由TinyML基金会于2021 年3 月发布的tinyML 研究研讨会(https：//www.tinyml.org/researchsymposium2021/)，我们可能会看到一些令人兴奋的最新进展! 相关链接[1] Machine Learning (Elektor)：www.elektormagazine.com/tags/machine-learning.[2] C. Abate，"TheFuture of Machine Learning:An Interviewwith Daniel Situnayake/"， ElektorMagazine.com，8/26/2020:www.elektormagazine.com/mlsitunayake.[3] M. Stewart，"TheMachine Learning Crisis in ScientificResearch/"，TowardsDataScience.com，11/18/2019：http：//bit.ly/ml-crisis-stewart.[4] Cornell University，"Hardware Architecture"，arXiv.org：https：//arxiv.org/list/cs.AR/recent.本文授权来自本刊的合作伙伴Elektor媒体集团，如果希望免费订阅Elektor 的英文在线内容，请访问https：//www.elektormagazine.com/。—— The End ——
机器学习(ML)作为人工智能的一个子类，在各个领域(包括大气科学和计算机视觉)都得到了广泛的应用。正如哈佛大学博士Matthew Stewart所说，tinyML 是一个新兴的发展学科，它能够在资源受限的微控制器上实现低资源消耗、低功耗的机器学习算法。
C.J.Abate：让我们从您的背景开始。您是什么时候对机器学习感兴趣的? 您是因为编程或硬件设计的背景而选择该领域的吗? Matthew Stewart：我的本科专业是机械工程，这给了我一些编程和机电一体化的经验。但是，直到进入哈佛大学，我才开始学习机器学习。在博士学位研究的第一年，我参加了哈佛大学的数据科学入门课程，激起了我对机器学习的兴趣，那时我意识到了机器学习的巨大潜力，无论是一般性的应用，还是专门用于大气研究的。 Abate：是什么使您进入哈佛大学的? Stewart：显然，哈佛大学是世界上顶尖的研究机构之一，在这里学习是许多富有热情而努力的学生的目标。我的老师的研究兴趣也吸引了我，他们使用无人机研究了热带亚马逊雨林。在获得机械工程学位的过程中，我对转向环境科学产生了兴趣，因为对我来说，越来越明显的是，现代时代定义的大多数工程问题将是环境问题，即气候变化、能源安全和可持续性。根据我的兴趣和工程背景，这项关于亚马逊雨林无人机的工作似乎是理想的，是来哈佛的主要刺激因素。 Abate：作为一名环境科学家，您如何使自己了解嵌入式系统和编程? 要紧紧掌握Al领域的所有新发展以及传感器技术，嵌入式系统等方面的创新一定很困难。您是如何了解这些不同学科的? Stewart：这些领域不断地迅速发展，对许多研究生和学者来说，这是一个非常现实的问题。就个人而言，我使用了几种资源来保持学科信息的更新。首先，Twitter可以成为发现该领域其他学者发表的新研究的好平台。我也是一些Slack频道的粉丝，在该频道中，同事定期共享有关相关主题的新闻和研究文章。我还定期回顾发表在相关期刊上的新论文，以寻找任何特别引人注目和值得详细阅读的东西。幸运的是，大多数已发表的作品与我自己的研究没有什么关系，而更广泛的趋势往往是大学内各部门和兴趣小组进行的研讨会演讲的主题工作。 Abate：虽然几个月前我在一次DanielSitunayake的采访中提到了细节，但对Elektor全球社会的许多工程师来说，这仍然是一个新的主题。您如何定义tinyML? 它是否是在边缘微控制器上运行机器学习应用程序的一种最基本的方法? Stewart：是的，这实际上就是我们的目标。tinyML不是一种特定的技术或一系列的原则，确切地说，它更像是一种涉及计算机架构、性能工程和机器学习领域协同作用的重要学科。其首要目标是在资源受到限制的微控制器上实现快速、低资源和高效的机器学习算法。这还可能涉及到为特定任务开发定制的硬件，开发专门为资源约束设计的新算法或新的工具来移植算法，或是优化各种硬件架构的性能。本文提出了一个有用的指导方针，将tinyML作为机器学习的应用程序应用到小于1 MB的随机存取内存和功耗低于1 mW 的微控制器上，但这绝不是一个严格或详尽的定义。 Abate：需要明确的是，我们并非在讨论像NVIDIA 和树莓派这样的设备，而是关注受资源限制的设备(即小于1 mW 和千字节，而不是兆字节)，对吗? Stewart：是的。像树莓派和NVIDIA这些设备并不是tinyML的重点，也不是与自动驾驶技术相关的应用，这些场景通常都需要较多的计算资源。我们研究的重点是“资源约束”。对于tinyML，我们必须就如何有效地优化算法的性能做出明智的决定，以便适应应用程序和硬件特定的限制。 例如，在某些应用中，必须同时具有快速推断和高精度性能，以提高推断速度，我们可以使用8位算术代替浮点算术，但这会影响算法的准确性，也将影响算法所需的内存和计算资源。这个示例有助于理解为什么我将tinyML视为一门原始工程学科，因为我们更多考虑的是必须满足需求，但往往是这些要求都存在直接竞争，因此必须进行平衡。 Abate：您能提供一些实际应用的例子吗? Stewart：实际上，已经有一些在智能手机中使用tinyML的例子。其中一个重要的例子是关键词发现，它涉及检测诸如“Hey Siri”和“Hey Google”之类的单词。如果智能手机使用CPU 连续监测麦克风并检测到这些单词，那么手机电池只能使用几个小时。相反，一个轻量级的数字信号处理器能够持续检测这些单词。当有人提及关键词时立刻唤醒CPU，并验证是否来自已知的麦克风，然后等待其他的语音输入。 还有一个例子存在于智能手机中，用于监测用户何时拿起手机。来自车载惯性测量单元和陀螺仪的数据被持续监测，当用户拿起他们的手机时，一组信号会通知设备、唤醒CPU。 另一个有用的例子是人体检测，连接到相机的微控制器可以检测个体的存在。例如，检测用户是否佩戴口罩，这在目前疫情大流行期间特别实用。异常检测可能成为工业中的一个重要用例，来自重型机器的信号可以被连续监测，实现设备的异常检测功能。 Abate：在2019 年，您发表了一篇引人入胜的文章———“科学研究中的机器学习危机”，探讨了机器学习是否会导致科学中的“可再现性危机”的问题，例如，如果科学家在实验中使用了知之甚少的ML算法，这可能意味着其他科学家无法重现这些原创性研究成果，甚至非专业人士也可以在那里发现问题。我认为机器学习与统计数据的争论在过去一年中愈演愈烈。您现在如何看待这一问题? Stewart：我认为这在学术界仍然是一个重要的问题。我在此主题上发表的文章是针对可再现性危机的，该危机首次由哈佛商学院前教授Amy Cuddy在功率主题方面所做的一些工作上的争议中引出。 Andrew Gelman撰写了一篇有影响力的论文，谴责心理学领域的不良研究实践，包括使用P图等技术进行虚假的数据分析和挑选数据来产生具有统计学意义的结果。这产生了一系列旨在再现心理学文献中的一些重要结果的实验，其中许多是不可再现的。这暴露了研究过程中的一个缺陷，即可再现性研究通常没有资金资助，因为它们被认为是不必要的并且浪费资源。从这时起，可再现性研究危机也被发现影响到其他领域，包括文学和经济学。 自然，这种对研究过程完整性的破坏导致对使用大数据集和机器学习的担忧。给定数据集中足够多的变量，最终不可避免地会出现一些具有统计意义的结果。这表明虚假数据将更容易找到，但是只有在实验被设计为专门测试该假设而不是同时进行多个假设的的情况下测试才是有效的，所以大数据可以更容易用数据进行“欺骗”。而对于机器学习呢? 机器学习的使用使它更容易“隐藏”作弊。许多机器学习算法的可解释性降低，而且许多研究社区缺乏机器学习背景，因而在发表的研究中很难发现这些问题。幸运的是，解决这个问题的方法非常简单———资助可再现性研究，并对研究人员关于实验的正确设计和机器学习在研究中的应用进行培训。 Abate：您在文章中提出了一个有趣的观点———“机器学习算法的另一个问题是算法必须做出预测，而不能说我什么也没找到”。听起来机器学习并非总是有效。 Stewart：虽然我同意机器学习不适合完成一些任务，但我不认为是由于这个原因。例如，由任务转换为二元分类问题所提出的问题之一，它们实际上可能不能被最好地总结出来，从而导致错误的二分法;在某些情况下，它可能更适合对靠近决策边界的数据进行分析，而不是让算法做出一个明确的决定。这种类型的决策有时被称为“人类循环决策”，在所做的决定有重要影响的情况下，它将最有用，比如决定是否提供贷款或是否患有癌症。 Abate：您认为在tinyML的哪些行业中会有巨大的创新机会? Stewart：总的来说，我认为在这一领域工作的许多人都在期待tinyML可以引发一场新的工业革命。出于这个原因，一些人开始将这个新设想的工业阶段称为“工业4.01阶段”。在这个阶段，任何使用大量loT设备的行业都将因使用tinyML 而受益匪浅，包括减少了与tinyML相关的功耗和网络负载。 更具体地说，某些行业可能会从tinyML提供的新功能中获得更大的好处。农业就是一个很好的例子。在农业中使用tinyML可实现智能感应功能，而无需连接到电网，这可以帮助确定某些作物何时要收获或需要额外的肥料或水。 另一个很好的例子是重工业，正如前面提到的那样，通过使用异常检测进行预测维护可以节省成本和提高效率。预先发现大型机械的运输问题可能比灾难性故障更便宜，生产力损失也更小。 Abate：那么那些对开发节能计算解决方案感兴趣的公司呢? Stewart：苹果和ARM 可能是目前最大的专注于节能计算的公司。高性能和高效架构的开发在智能手机中至关重要，不仅可以延长手机电池寿命，而且能够增强功能、提升运行速度。近年来，我们看到移动架构在性能方面功率效率大幅提高，而英特尔等竞争对手的传统架构则相对停滞不前。因此，移动体系结构现在不仅可以与更传统的体系结构相媲美，还有几个独特的优点，包括功率系统的高效率。最近，苹果公司对外宣布了最新基于ARM 的M1芯片，声称它将提供Mac电脑有史以来最长的电池寿命。苹果的这一举动被一些人视为计算行业的一个分水岭，未来几年将在社区中产生连锁效应。 Abate：请介绍一下您在无人机和化学监测系统方面的工作。tinyML在您的研究中扮演什么角色? Stewart：目前，使用tinyML进行一些微无人机应用的工作已经发布。这样做的重点是创造能够借助嵌入的强化学习方法实现智能导航的轻量级无人机。这对于室内和室外应用中检测气体泄漏或定位污染物排放源等可能非常有用。 对于更广泛的化学监测系统，tinyML可以提供创建与电网断开的远程定位传感器网络的能力，以及更智能地使用化学传感器信息。例如，该系统可以被设计为只关注异常数据，而不是连续地向云服务器传输数据。这将减少通信系统上的网络以及与执行持续监控相关的功耗。随着设备数量的指数级增长，近些年来这些方面将变得越来越重要。 Abate：您的文章和研究很可能会激励许多人更加投入地研究tinyML。专业工程师和电子爱好者或许想了解更多关于这个主题的知识。除了PeteWarden和DanielSitunay这样的书外，您还可以推荐一些其他资源吗? Stewart：不幸的是，尖端技术的一个缺点是往往只有少数可用的资源。话虽如此，我们还是开始看到同行中有人定期发布关于tinyML的文献，其中相当一部分是发表在预印服务器arXiv上的。我猜测很快就会有几家期刊专门关注这个话题。另一个资源是由TinyML基金会于2021 年3 月发布的tinyML 研究研讨会(https：//www.tinyml.org/researchsymposium2021/)，我们可能会看到一些令人兴奋的最新进展! 相关链接[1] Machine Learning (Elektor)：www.elektormagazine.com/tags/machine-learning.[2] C. Abate，"TheFuture of Machine Learning:An Interviewwith Daniel Situnayake/"， ElektorMagazine.com，8/26/2020:www.elektormagazine.com/mlsitunayake.[3] M. Stewart，"TheMachine Learning Crisis in ScientificResearch/"，TowardsDataScience.com，11/18/2019：http：//bit.ly/ml-crisis-stewart.[4] Cornell University，"Hardware Architecture"，arXiv.org：https：//arxiv.org/list/cs.AR/recent.本文授权来自本刊的合作伙伴Elektor媒体集团，如果希望免费订阅Elektor 的英文在线内容，请访问https：//www.elektormagazine.com/。—— The End ——
下载文档
