利用Deeplite之软件结合晶心科技RISC-V CPU处理器，达到更快、更小、更准的边缘运算

【2021年3月19日，台湾新竹】--在边缘运算设备上，推动低功耗和低延迟深度的学习模型、计算器硬件以及人工智能推理系统这些项目的发展，持续创造令人兴奋的新机遇。业界相关产业对于应用在深度学习的硬件和软件解决方案(也称为Edge AI，边缘运算)的开发产生了前所未有的兴趣。边缘运算已经开始在某些指标性的应用中取得进展，例如音频信号分类(audio classification)中的关键词搜寻(keyword spotting)、异常检测(anomaly detection)以及计算机视觉应用中的人物辨识(person detection)。具体来说，tinyML是专为超低功耗系统量身订作的机器学习分支，具有远大的前景。这个提案中之解决方案的效率极高(功耗为毫瓦(mW)，甚至只有微瓦(μW))，加上其可广泛地部署到此类边缘运算在现实环境中设备的适用性，预计在未来5年内，将应用在超过1000亿个IoT传感器和设备。蓄势待发之深度学习科技的未来，将通过比以往更加可负担、具有友善生态系、以及更容易使用的智能科技，提供客户及终端使用者更显着的便利。

晶心科技和Deeplite很高兴地宣布两家公司最新合作成果—通过使用Deeplite独特的优化软件和晶心科技低功耗RISC-V CPU核心研发出具有人工智能运算能力的应用程序(AI-powered applications)。这项合作关系着重于压缩(compressing)并加速(accelerating)著名的视觉唤醒词(Visual Wake Words (VWW))应用程序。微型相机可以利用此类程序，进行人物图像侦测。Deeplite及晶心科技共同获得了领先业界的结果，从利用浮点运算的Mobilenet-v1-0.25x模型中，产出各式优化的INT8模型。本次发表的第一组研发结果侧重于提高精确性，以精度为主的INT8模型优化提高了2.7%的精度，缩小了1.7倍(172 KB)的档案大小以及提高了9%的执行速度。第二组结果主要着重于最大化压缩(maximizing compression)。与TensorFlow Lite Micro提供的INT8 模型相比，本组专注于模型档案尺寸最小化的模块，成功做到缩小2.3倍(127KB)的档案大小，更高的精度(0.7%)和提高了15%的执行速度。(表1)

表1 参考模型和优化模型的模型之档案尺寸，精确性和运行时间之间的参数

「我们决心为低功耗设备提供最高效，最精确的解决方案，尤其是随着边缘计算类型之AI越来越多地在应用在智能助理、安全监控和智能制造应用中。」 晶心科技技术长兼总经理苏泓萌博士表示。「Deeplite的尖端软件为AI模型优化提供了一种有效的方法，可以增强目前架构的性能。Deeplite支持我们的AndeStar™ V5架构，并已于第一个具有RISC-V P 扩充指令 (DSP SIMD) 的CPU核心D25F上高效率的执行;客户能将之应用在选定的AI模型上。」

「Andes™ RISC-V CPU核心是非常理想的硬件的范例，替Deeplite的模型展示了优化的优点，为低成本、使用电池作为供电的设备，提供了以往无法达成的复杂智能功能。」Deeplite首席执行官Nick Romano说：「随着我们持续在业界最大的挑战上(如视觉唤醒词Visual Wake Words和语音关键词查询keyword spotting)取得领先成果，我们预计由Deeplite软件提供支持的边缘运算AI应用将出现大幅度的成长。」

领先业界的优化Deeplite软件结合晶心科技最新之RISC-V CPU核心，共同应用于tinyML上，可以解锁边缘AI运算之应用，例如语音识别或人物辨识，以满足微控制器等级之内存及计算要求。设备代工厂和应用程序开发人员现在可以为用户提供将其数据保存在终端设备上的优点，并同时提供日常生活中AI所需的实时且无缝式回应。