贵州大学：具有正则化约束的脉冲神经网络机器人触觉物体识别方法 | 《电子与信息学报》佳文速递

中图分类 TP183：人工神经网络与计算

贵州大学李少波等人在《电子与信息学报》发表最新论文：

具有正则化约束的脉冲神经网络机器人触觉物体识别方法 >>

文章提出了一种基于触觉的机器人物体识别方法，针对脉冲神经网络中神经元脉冲活动离散性导致网络训练过程反向传播失效问题，引入脉冲活动近似函数；

针对过拟合问题，融合正则化方法加以缓解。实验分析表明了正则化模型的触觉物体识别率有显著提升。

总体而言，该文工作具有较好的创新性和学术价值。

背 景

物体感知是智能机器人的基本技能，是执行任务的基础。随着机器人智能化的快速发展，机器人具备了语言识别与理解、计算机视觉等功能。

此外，时下大部分机器人没有触觉感知能力，更没有像人类一样使用触觉去感知不同物体的能力，而触觉传感器能够提供温度、粗糙度、压力等视觉与听觉无法提供的信息，能够辅助智能机器人适应更多工作场景。

因此研究机器人触觉感知方法对促进智能机器人拥有与人类相似的触觉感知能力具有重要意义。

图1 机器人触觉系统

脉冲神经网络（Spiking Neural Network，SNN）受人类神经元工作方式启发，通过时空动力学模仿人类神经行为，并使用二进制脉冲信号在神经元之间进行通信，在生物学设计上也更加合理。并且脉冲神经网络能够应用于神经拟态芯片上，能够更快地处理AI任务，带来更高的能效。

然而，相较于传统卷积神经网络，SNN的神经元之间由于通过离散的二进制信号0或1传递信息，这导致了在采用反向传播完成参数更新时，梯度下降法的失效。

此外，模型训练需要大量的数据样本支撑，以得到更优的网络参数。而现有机器人触觉脉冲数据样本较少，如何缓解数据量较少导致的过拟合问题得到更优的网络性能，也是挑战之一。

为应对以上挑战，贵州大学李少波、杨静、吉晓阳等人及其合作团队提出了一种具有正则化约束的脉冲神经网络机器人触觉物体识别方法：

首先，作者分析了SNN神经元与脉冲活动之间的关系，并通过脉冲活动的近似函数缓解梯度下降法在反向传播中的失效问题。

进一步地，提出了一种具有正则化约束的脉冲神经网络机器人触觉物体识别方法，缓解模型的过拟合问题，提升SNN网络模型的鲁棒性。

实验结果显示，该文方法提出的SnnTd正则化方法触觉物体识别率在EvTouch-Containers数据集上比最好方法TactileSGNet提升了5.00%，SnnTdlc正则化方法触觉物体识别率在EvTouch-Objects数据集上则提升了3.16%。

研究方法

(1) SNN的反向传播

根据SNN的预测结果，计算网络输出与标签之间误差平方和的均值，即网络模型损失函数L在时间窗口T内平均投票结果的均方误差

其中S为触觉数据训练样本的总量，是第s个触觉数据样本的标签，是输出层的结果。对于标签为的训练样本，触觉模型理想情况是代表第类的神经元具有最高的输出值。

图2 脉冲神经网络的空域和时域传播过程

从图2可以看出，神经元前向传播中，第n层神经元膜电位由空域中第n-1层神经元的输出脉冲，以及时域中第n层神经元t-1时刻的神经元膜电位共同决定。

而在反向传播过程中，第n层神经元膜电位在空域上影响第n-1层神经元的输出脉冲，在时域上影响第n层神经元t-1时刻的神经元膜电位。

综上，通过复合函数的链式法则得到损失函数L与权重w、偏置b之间的关系：

其中，表示t时刻第n层脉冲神经元的膜电位，表示t时刻第n层是否产生脉冲，若产生脉冲，，否则。

采用连续函数模拟脉冲活动的反向传播，使得梯度下降法有效，即

(2) 正则化约束

Dropout正则化方法通过随机丢弃神经网络中网络层上的神经元，构建不同的训练子网络，使每次训练时采用的网络不相同，这类似于在模型中加入高斯噪声，间接使得模型接收到不同的输入数据，缓解数据量少的问题，进而使模型的过拟合问题得到缓解。将Dropout方法引入脉冲神经网络，通过随机丢弃LIF神经元，提升神经网络的预测能力。图3展示了LIF神经元的Dropout工作方式。

图3 LIF神经元中的Dropout

L2权重衰减是通过限制权重的选择范围控制模型参数容量，在一定程度上缓解模型的过拟合问题，通过结合Adam优化算法以及余弦退火算法，作者提出具有L2正则化约束的脉冲神经网络机器人触觉物体识别算法。

实验分析

该文考虑了2个不同的触觉脉冲数据集，并在每个数据集上进行了80次实验，每组实验重复10次。