基于深度学习的手势识别算法设计

引 言

人机交互 [1] 即 HCI，是指人们通过相应方式与机器沟通，获取机器反馈信息的过程。

深度学习相比传统的机器学习算法往往在图像处理方面能获得更好的效果。其中常用的算法如 Faster R-CNN[2]， YOLO[3]，SSD[4] 等均有其独特魅力，在目标检测领域具有举足轻重的作用。

本文基于深度学习理论，采用卷积神经网络中的轻量级分类网络 MobileNet 和目标检测网络 SSD 相结合 ；基于输入图片的尺寸不同对模型的影响、带孔卷积的引入，对改进后的 SSD 算法进行微调。为了进一步提升识别速度，使用Deepwise 卷积以进一步降低网络参数和计算量。

1 卷积计算

对于输入的图片，CNN[5] 无法准确获悉这些特征与原图哪些部分相匹配，因此需要用不同尺寸的过滤器提取图像特征。计算过程被称为卷积操作，卷积过程如图 1 所示。过滤器和图像中左上角的 3×3 像素块卷积后的值为特征图中的第一个值 4。

计算特征图中像素点和原图的映射结果。实际计算过程是将过滤器和原图对应尺寸匹配，相同位置的值相乘，再将所有的乘积结果相加。

2 手势识别算法模型设计

2.1 算法主干网络

本文网络模型是将 MobileNet和 SSD网络相结合，然后对网络进行微调。其中 MobileNet使用了 MobileNet-v1网络。截取 MobileNet-v1 网络前 12 层卷积层作为网络的基础特征提取层，再加上6层辅助特征提取网络，组成算法的主干网络。标签边框和默认框之间存在偏移值，因此将偏移值作为网络学习的内容。结合分类误差，计算端对端损失函数，进行反向传播的计算和更新。

2.2 模型微调

(1) 将辅助特征提取网络中的 3×3标准卷积使用 Deep- wise卷积进行替换，进一步减少网络参数和计算量。

(2) 本文卷积均使用 Atrous卷积（带孔卷积），在减少padding 带来的噪声的同时，也能减少冗余特征的提取。

(3) 对部分辅助特征提取卷积网络卷积步长或者特征维度进行调整，使辅助特征网络的尺寸在不断减小的同时，维度数量也随之减小，减少冗余特征对训练和识别结果的影响。

3 手势识别算法设计

3.1 算法流程

算法流程如图 2 所示。首先准备好收集的且已人工标记的训练集图片，然后经图中所示的图片预处理过程，将训练集送入上文设计的 MobileNet-SSD 网络进行迭代学习训练， 直至模型训练完成。重复上述步骤，多次实验，获得模型。最终选择在验证集上表现效果最好的模型，在测试集上进行测试，得到相关数据，作为本文最终的数据，分析本文设计的算法模型的优劣。

3.2 手势数据集

本文共采集了 15 种手势的数据图片。平均每种约为2 300 张。数据集的组成包含石头，布，ok，比心等。从每种手势中抽出 300 张加入验证集，抽取 100 张加入测试集。最终，训练集中有 32 327 张图片，验证集中有 4 500 张图片，测试集中有 1 500 张图片，数据集共有 38 327 张图片。数据集中部分图片如图 3 所示。

3.3 图片标注

数据集采用 LabelImg 标定工具进行人工标记得到真实标签和类别信息。图 4 和图 5 所示分别为在标注工具中、标注图片和标注完成将目标信息进行存储的 xml 文件信息展示。

3.4 算法环境

本文的硬件环境见表 1 所列。对于神经网络 [6] 训练而言， 显卡的计算能力和 CPU 的性能至关重要，性能优良的显卡与 CPU 可以大幅缩减训练时间与算法的运行时间。

3.5 实验与分析

3.5.1 实验步骤

（1）本文手势数据集中有 15 个类别，因此先将网络文件、网络训练和测试文件，以及类别定义文件中的相关描述修改为 15 个类别。

（2）将准备好的图片和对应包含了标注信息的 xml 文件制作成 caffe 框架常使用的 lmdb 格式数据集。

（3）把 caffe 框架下的模型文件和训练文本映射在训练文本设置好的参数中。

（4）观察终端输出迭代过程中 loss 值的变化，验证集上输出的测试准确率，并保存日志文件，方便后期对训练模型进行分析。

（5）迭代训练完成后找到生成的模型。若模型在测试集上表现较好，则在测试集上测试 ；否则，修改参数文件中的相关参数微调模型后继续训练。

3.5.2 实验结果分析

算法中训练模型包括如下种类 ：

（1）SSD 经典算法网络，基础网络使用 VGG-16，图片的输入尺寸为 300×300，记为 SSD-300 ；

（2）本文改进的算法输入尺寸为 416×416 和 600×600，分别记为 MN-SSD-416 和 MN-SSD-600 ；

（3）辅助特征层卷积使用标准卷积，图片的输入尺寸为416×416，模型记为 MNS-SSD-416。模型训练信息见表 2 所列。通过对比可知，本文改进后的算法模型在参数量和计算量方面都大幅减少。

将上述模型进行多方比较可得 ：

（1）通过对比可以发现改进后的三种网络在手势识别精度方面与 SSD-300 相比未降低，但在识别速度方面却有很大提高，其中 MN-SSD-416 和 MNS-SSD-416 可以实现实时手势识别。

（2）MNS-SSD-416 网络减少了参数和计算量，使得每秒能够识别的图片数提高至 43.5 帧，mAP 仅降低 0.3 个百分点。由此可得，使用 Deepwise 卷积替换辅助特征层的标准卷积是成功的，识别速度实现了大幅提高，付出的识别准确率代价较小。

（3）MN-SSD-600 和 MN-SSD-416 具有相同的网络结构，增大了输入图片的尺寸。虽然在识别精度方面表现出了略微优势，能够使得较难识别的几类手势有较好的识别精度，但是大大降低了网络识别速度，使得识别速度仅为 22.6 帧 /s。说明增大图片输入尺寸确实能够使特征更丰富，识别率也有所提高，但却大大降低了识别速度。

3.6 手势识别效果展示

本文展示了识别精度和速度都较好的模型 MN-SSD-41的测试效果图，如图 6 所示。左图中预测“我爱你”手势类别的置信度为 0.895 3 ；右图中预测类别是“数字 7”的置信度为 0.921 1。本文主要考量手势识别的精度，所以对边框位置并未考察。但从实际效果可以看出，算法的位置回归效果也很好。

4 结 语

本文设计的算法能够满足多种嵌入式平台的使用需求，在保证较好的手势识别精度的前提下，识别速度也有着很大优势，为实时手势识别提供了一种可行的算法。