用虚拟老鼠模拟神经网络，完成4种复杂任务

人工智能,简称AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学。智东西5月9日消息，近日，谷歌旗下AI企业DeepMind和哈佛大学的研究人员用AI技术创造出一只虚拟3D老鼠，这只老鼠能够完成跳跃、觅食、逃跑、击球等多项复杂任务。这项研究或有助于增进人类对生物神经系统的理解。

在生物科学领域，神经活动与动物行为之间的关系一直是一个未解之谜。许多研究人员认为AI技术是解答这个疑问的金钥匙，这是因为AI技术的灵感正是来自于人脑神经网络结构。

这一点从名字上也可以看出来，比如，AI技术是由人工“神经网络”来驱动的，机器学习算法的组成部件则被称为“神经元”。

但是，由于运动控制的复杂性，之前的研究大多聚焦于单一、简单的动作，并没有针对更复杂、多样的动作进行研究。DeepMind和哈佛大学的研究人员认为：如果用AI技术模拟出一个虚拟生物，就可以更简便地观察生物做复杂动作时的神经活动、降低研究的难度。

基于这个设想，研究人员设计出了一只虚拟3D老鼠。

这项研究在4月26日至5月1日举行的国际学习表征会议(ICLR)上发表。ICLR是每年举行的机器学习会议，采用开放式同行评审的方式审阅论文。

论文题目为《虚拟啮齿动物的深层神经行为学(Deep neuroethology of a virtual rodent)》。

论文链接：https://openreview.net/attachment?id=SyxrxR4KPS&name=original_pdf

一、虚拟老鼠与真鼠生物学特征相同，能做4种复杂动作

研究人员利用物理模拟器MuJoCo创建模型。为了使虚拟老鼠尽可能地仿真，研究人员设计该模型拥有与真实老鼠相同的生物学特征：身体有38个等级的自由度，尾巴、脊柱、脖子由关节组成，利用肌腱控制关节。

虚拟老鼠与真鼠生物学特征相同

研究人员计划使虚拟老鼠完成4种复杂动作，分别是：A.跳过地表缝隙(gaps run)、B.在迷宫中觅食(maze forage)、C.逃离丘陵环境(bowl escape)、D.前爪按照固定频率触球两次(two-tap)。

虚拟老鼠能做4种复杂动作

为了达到这一目的，研究人员训练了一个多任务策略(Multi-Task Policy)。通过一个残差网络(Residual Network)，以自我为中心的视觉图像被编码为特征。通过一个多层感知器(Multi-Layer Perceptron)，本体感受状态观察也被编码。

这些特征被传递到循环长短期记忆(recurrent LSTM)模块中。训练过程中，核心模块用反向传播算法(BP，Backpropogation)进行训练。核心模块的输出也作为特征传递给策略模块。策略模块由一个或多个LSTM模块堆叠而成。

短时间尺度上，虚拟老鼠借助一组制动器来驱动关节、产生移动。在更长的时间尺度上，虚拟老鼠的关节移动被组织成协调的、重复的，这样就实现了奔跑、跳跃、转弯等动作。

二、研究4种复杂动作对应的神经活动

模型制作好后，研究人员开始研究虚拟老鼠的神经活动。

1、找到虚拟老鼠行为对应的神经区域

首先，研究人员试图找到虚拟老鼠不同行为与特定大脑神经区域之间的对应关系。

为了便于观察和记录，研究人员从虚拟老鼠的动作中提取出特征。

研究人员按照动物行为学方法，提取虚拟老鼠的两组行为特征：第一组采用一种行为映射方法，提取老鼠运动时最常用到的关节角度，生成一组描述虚拟老鼠姿态和运动学特性的特征。第二组提取老鼠运动时最常出现的15个关节角度及相应姿势，由此产生行为特征。

然后，研究人员用T-分布邻域嵌入算法(t-SNE)，把老鼠行为特征嵌入2D。

接下来，研究人员分别在1～25Hz时间尺度、0.3～5Hz时间尺度、5～25Hz时间尺度上划分出25个尺度，计算这两组行为特征的莫莱小波(Morlet wavelet)变换的15个最重要的特征。这产生了描述虚拟老鼠姿势和运动学特征的60维特征集。

嵌入2D后，研究人员制作出一张虚拟行为“地图”，虚拟老鼠的行为被划分到对应的大脑神经区域。这反映了一些行为(跳跃、奔跑、攀爬等)与神经网络的关系结构。

2、核心层、策略层各有分工

除了行为参数，研究人员还测量和分析了每层架构中长短期记忆(LSTM)细胞的神经活动。

为了进一步找出核心层和策略层分别负责编码哪些行为，研究人员使用了代表性的相似性分析(representational similarity analysis)。代表性的相似性分析可以提供一个整体性的测量标准，帮助研究人员发现神经网络如何编码行为特征以及这种编码在不同层级中如何变化。

分析结果显示，任务执行期间，核心层与策略层在不同的时间尺度上运作。

核心层通常在1～10秒的时间范围内运作，更多用于编码慢动作的行为特征，这可能说明了核心层与情景和奖励等变量相关。

策略层通常在亚秒级别等时间尺度上运作，更多用于编码快速动作的行为特征，这可能说明了策略层负责即时动作的编码。

为了研究出神经网络如何编码出完成不同任务所需的动作，研究人员分析了核心层、策略层在不同任务中的变化。使用多维标度(MDS，multidimensional scaling)将虚拟老鼠活动嵌入二维。

结果显示，核心层在不同任务中的表现有较大不同，策略层在不同任务中的表现有较多重叠。

虚拟老鼠为神经网络研究带来了更多可能性，还有助于提升AI技术水平。这项研究的论文合著者杰西·马歇尔(Jesse Marshall)说：“这篇论文是我们了解大脑如何灵活处理任务的开始，通过获得的知识，我们也可以设计出具有类似能力的人工代理。”

但另一位研究者斯科特认为，在实际操作层面上还有一些问题亟待解决。“在这么复杂的任务中收集动物的神经数据是十分困难的。”他说。

用虚拟老鼠的神经活动模式与其他真实动物的模式相比较，测试两种神经模式分化源头，这是目前研究人员在实验室环境中的测试。