TensorFlow在树莓派上的应用

什么是TensorFlow？或许很多人都不了解，它是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端的计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。可被用于语音识别或图像识别等多项深度学习领域。

 SVDS(Silicon Valley Data Science)曾使用过实时、公开的数据来优化对加州火车到达时间的预测。但是，加州火车的到站时间数据不可靠，因此难以准确预测。我们使用 Raspberry Pi 摄像头和 USB 麦克风，能够侦测到火车的经过及其速度和方向。当在 Mountain View 办公室里装配了一台新的 Raspberry Pi 时，我们遇到了一个棘手的问题：Pi 不单单侦测到了加州火车(true positive)，也侦测到了太平洋联合货运的火车和 VTA 轻轨(false positive)。为了确保侦测到的是加州火车的延迟，我们不得不对不同的火车做个靠谱的分类。

传统的背景图像分类技术是远远不够的，因为我们在整个加州火车系统的铁轨上——包括不同的距离，不同的方向，不同的高度——放满了 Raspberry Pi。而且我们的操作时间也很有限，没有足够的时间来为系统里每一个 RaspberryPi 手动选择模式和特征。

用 TensorFlow 解围

幸好是在2016年遇到这个图像分类问题，因为在这一年里很多深度学习相关的图像识别技术的代码被公开了。我们选择使用 Google 的 TensorFlow 卷积神经网络，因为它有简单易用的 Python 库和丰富的在线文档。我拜读过 Pete Warden 关于 TensorFlow 的博客——TensorFlow for Poets(https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/#0)，这篇博客里介绍了如何在高性能的 Inception V3 模型上创建定制化图像分类器。而且，我可以用我的笔记本电脑来对这个新模型的增强版通宵进行训练。这样就不需要很贵的 GPU(显卡)，也可以在未来对模型进行微调，非常有用。

我是从 TensorFlow 教程页面中花的识别教程开始的。我使用命令行接口来分类数据集中的图片，也包括 Van Gough 的向日葵这样的定制图片。

图像中的名称，从上到下依次雏菊，向日葵，蒲公英，郁金香，玫瑰。

现在我有了用 TensorFlow 来创建图像分类器的经验，便希望建立一个稳健无偏的图像识别模型用来识别火车。虽然之前 Raspberry Pi 拍摄到的图片可以用于训练模型，但我还是选择了更大更多样的数据集。我也将小汽车和卡车包括进模型中，因为他们也可能在某些位置上经过 Raspberry Pi 的侦测点。为了得到这个汽车分类器的训练数据集，我用 Google 找了1000张图片，含：

加州火车

货运火车

轻轨

卡车

小汽车

测试及配置模型

对模型训练了一个通宵，第二天一早，我回到办公桌来查看模型运行得怎么样。首先我测试了不包含在训练集里图片，并惊奇的发现，分类器似乎一直可以挑出正确的分类。这里面包括从 Google 上找到的训练集的图片，也包括从 Raspberry Pi 采集到的图片。

图片中的名称，从上到下依次是：加州火车，运输火车，轻轨，汽车，卡车。

我在 Raspberry Pi 上运行图片分类器，来保证这套设备用户是可以支付得起的。此外，由于不能保证网络连接的速度，我必须直接在设备上运行分类器以避免把图片发送到中心服务器所造成的延迟。

Raspberry Pi3 马力(功率)充足，可以直接在设备上进行流处理，因此我们只需要用网络发送小容量的，处理过的数据流，并且这套设备也便宜。这个传感器整体的硬件成本是130美金，所有的代码都是用的开源库。我用 JupyterHub 对其进行了测试，以便控制多个位置上的 Raspberry Pi 设备。有了一个正常运行的车辆分类集，接下来我把模型加载到 Raspberry Pi 上，并在视听流架构下实现了它。

为了能够在 Raspberry Pi 32Bit ARM芯片上编译，我使用的是来自SamAbraham 的 Pi-TensorFlow enthusiasts 小社区的指引(https://github.com/samjabrahams/tensorflow-on-raspberry-pi)，同时也与 Pete Warden，Google 的 TensorFlow 团队进行了沟通。

解决 TensorFlow 在 Raspberry Pi 上出现的问题

虽然有好的文档记录如何在 Android 和其他小型计算设备上安装 TensorFlow，但大多数的例子都是单张图片识别或批处理，而非流媒体图片识别。在Pi上单张图片可以简单稳健地给出分数，如下面这个成功的分类所示：

但是，把85MB的模型加载到内存里需要太长的时间了，因此需要把分类器图表加载到内存里。分类器图表加载到内存之后，Raspberry Pi 拥有总计1G的内存，在我们定制的火车侦测 Python 应用中，有足够的计算资源来处理连续运行的摄像头和麦克风。

即便如此，用 TensorFlow 分析 PiCamera 拍摄到的每一张图片也是不可行的，因为这样 CPU 的使用率最终将达到100%，导致 Raspberry Pi 系统过热，因此只有运动物体的图片传送给了 Pi 上的图片分类器，并用 TensorFlow 识别不同类型车辆。

结论

如果你对使用物联网设备做实时图像分类感兴趣，请从这里开始：