当前位置:首页 > 智能硬件 > 人工智能AI
[导读]深度学习是近10年机器学习领域发展最快的一个分支,由于其重要性,三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同获图灵奖。深度学习模型的发展可以追溯到1958年的感知机(Perceptron)。1943年神经网络就已经出现雏形(源自NeuroScience),1958年研究认知的心理学家Frank发明了感知机,当时掀起一股热潮。后来Marvin Minsky(人工智能大师)和Seymour Papert发现感知机的缺陷:不能处理异或回路等非线性问题,以及当时存在计算能力不足以处理大型神经网络的问题。于是整个神经网络的研究进入停滞期。

深度学习是近10年机器学习领域发展最快的一个分支,由于其重要性,三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同获图灵奖。深度学习模型的发展可以追溯到1958年的感知机(Perceptron)。1943年神经网络就已经出现雏形(源自NeuroScience),1958年研究认知的心理学家Frank发明了感知机,当时掀起一股热潮。后来Marvin Minsky(人工智能大师)和Seymour Papert发现感知机的缺陷:不能处理异或回路等非线性问题,以及当时存在计算能力不足以处理大型神经网络的问题。于是整个神经网络的研究进入停滞期。

最近30年来取得快速发展。总体来说,主要有4条发展脉络。

第一个发展脉络以计算机视觉和卷积网络为主。

这个脉络的进展可以追溯到1979年,Fukushima提出的Neocognitron。该研究给出了卷积和池化的思想。1986年Hinton提出了反向传播训练MLP(之前也有几个类似的研究),该研究解决了感知机不能处理非线性学习的问题。1998年,以Yann LeCun为首的研究人员实现了一个七层的卷积神经网络LeNet-5以识别手写数字。现在普遍把Yann LeCun的这个研究作为卷积网络的源头,但其实在当时由于SVM的迅速崛起,这些神经网络的方法还没有引起广泛关注。真正使得卷积神经网络荣耀登上大雅之堂的事件是,2012年Hinton组的AlexNet(一个设计精

巧的CNN)在ImageNet上以巨大优势夺冠,这引发了深度学习的热潮。AlexNet在传统CNN的基础上加上了ReLU、Dropout等技巧,并且网络规模更大。这些技巧后来被证明非常有用,成为卷积神经网络的标配,被广泛发展,于是后来出现了VGG、GoogLenet等新模型。2016年,青年计算机视觉科学家何恺明在层次之间加入跳跃连接,提出残差网络ResNet。ResNet极大增加了网络深度,效果有很大提升。一个将这个思路继续发展下去的是近年的CVPR Best Paper中黄高提出的DenseNet。在计算机视觉领域的特定任务出现了各种各样的模型(Mask-RCNN等),这里不一一介绍。2017年,Hinton认为反向传播和传统神经网络还存在一定缺陷,因此提出Capsule Net,该模型增强了可解释性,但目前在CIFAR等数据集上效果一般,这个思路还需要继续验证和发展。

第二个发展脉络以生成模型为主。

传统的生成模型是要预测联合概率分布P(x,y)。机器学习方法中生成模型一直占据着一个非常重要的地位,但基于神经网络的生成模型一直没有引起广泛关注。Hinton在2006年的时候基于受限玻尔兹曼机(RBM,一个19世纪80年代左右提出的基于无向图模型的能量物理模型)设计了一个机器学习的生成模型,并且将其堆叠成为Deep BeliefNetwork,使用逐层贪婪或者wake-sleep的方法训练,当时模型的效果其实并没有那么好。但值得关注的是,正是基于RBM模型,Hinton等人开始设计深度框架,因此这也可以看做深度学习的一个开端。Auto-Encoder也是上个世纪80年代Hinton就提出的模型,后来随着计算能力的进步也重新登上舞台。Bengio等人又提出了Denoise Auto-Encoder,主要针对数据中可能存在的噪音问题。Max Welling(也是变分和概率图模型的高手)等人后来使用神经网络训练一个有一层隐变量的图模型,由于使用了变分推断,并且最后长得跟Auto-Encoder有点像,被称为Variational Auto-Encoder。此模型中可以通过隐变量的分布采样,经过后面的Decoder网络直接生成样本。生成对抗模型GAN(Generative Adversarial Network)是2014年提出的非常火的模型,它是一个通过判别器和生成器进行对抗训练的生成模型,这个思路很有特色,模型直接使用神经网络G隐式建模样本整体的概率分布,每次运行相当于从分布中采样。后来引起大量跟随的研究,包括:DCGAN是一个相当好的卷积神经网络实现,WGAN是通过维尔斯特拉斯距离替换原来的JS散度来度量分布之间的相似性的工作,使得训练稳定。PGGAN逐层增大网络,生成逼真的人脸。

第三个发展脉络是序列模型。

序列模型不是因为深度学习才有的,而是很早以前就有相关研究,例如有向图模型中的隐马尔科夫HMM以及无向图模型中的条件随机场模型CRF都是非常成功的序列模型。即使在神经网络模型中,1982年就提出了Hopfield Network,即在神经网络中加入了递归网络的思想。1997年Jürgen Schmidhuber发明了长短期记忆模型LSTM(Long-Short Term Memory),这是一个里程碑式的工作。当然,真正让序列神经网络模型得到广泛关注的还是2013年Hinton组使用RNN做语音识别的工作,比传统方法高出一大截。在文本分析方面,另一个图灵奖获得者Yoshua Bengio在SVM很火的时期提出了一种基于神经网络的语言模型(当然当时机器学习还是SVM和CRF的天下),后来Google提出的word2vec(2013)也有一些反向传播的思想,最重要的是给出了一个非常高效的实现,从而引发这方面研究的热潮。后来,在机器翻译等任务上逐渐出现了以RNN为基础的seq2seq模型,通过一个Encoder把一句话的语义信息压缩成向量再通过Decoder转换输出得到这句话的翻译结果,后来该方法被扩展到和注意力机制(Attention)相结合,也大大扩展了模型的表示能力和实际效果。再后来,大家发现使用以字符为单位的CNN模型在很多语言任务也有不俗的表现,而且时空消耗更少。Self-attention实际上就是采取一种结构去同时考虑同一序列局部和全局的信息,Google有一篇很有名的文章“attention is all you need”把基于Attention的序列神经模型推向高潮。当然2019年ACL上同样有另一篇文章给这一研究也稍微降了降温。

第四个发展脉络是增强学习。

这个领域最出名的当属Deep Mind,图中标出的David Silver博士是一直研究RL的高管。Q-learning是很有名的传统RL算法,Deep Q-learning将原来的Q值表用神经网络代替,做了一个打砖块的任务。后来又应用在许多游戏场景中,并将其成果发表在Nature上。Double Dueling对这个思路进行了一些扩展,主要是Q-Learning的权重更新时序上。DeepMind的其他工作如DDPG、A3C也非常有名,它们是基于Policy Gradient和神经网络结合的变种。大家都熟知的AlphaGo,里面其实既用了RL的方法也有传统的蒙特卡洛搜索技巧。Deep Mind后来提出了的一个用AlphaGo框架,但通过主学习来玩不同(棋类)游戏的新算法Alpha Zero。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释...

关键字: 图神经网络 机器学习

循环神经网络(Recurrent Neural Network, RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recu...

关键字: 循环神经网络 RNN 机器学习

AutoEncoder的基本思想是利用神经网络来做无监督学习,就是把样本的输入同时作为神经网络的输入和输出。本质上是希望学习到输入样本的表示(encoding)。早期AutoEncoder的研究主要是数据过于稀疏、数据高...

关键字: 自编码器 机器学习 神经网络

卷积神经网络的发展,最早可以追溯到1962年,Hubel和Wiesel对猫大脑中的视觉系统的研究。1980年,一个日本科学家福岛邦彦(Kunihiko Fukushima)提出了一个包含卷积层、池化层的神经网络结构。在这...

关键字: 卷积神经网络 机器学习

有一些特定的标准可用于分类模型解释方法。Christoph Molnar在2018年“可解释的机器学习,制作黑箱模型可解释指南”中提到了一个很好的指南。

关键字: 机器学习 调试模型

对抗机器学习是一个机器学习与计算机安全的交叉领域。对抗机器学习旨在给恶意环境下的机器学习技术提供安全保障。由于机器学习技术一般研究的是同一个或较为稳定的数据分布,当部署到现实中的时候,由于恶意用户的存在,这种假设并不一定...

关键字: 对抗机器学习 机器学习 计算机安全

生成对抗网络(Generative Adversarial Networks,GAN)是用于无监督学习的机器学习模型,由Ian Goodfellow等人在2014年提出。由神经网络构成判别器和生成器构成,通过一种互相竞争...

关键字: 生成对抗网络 机器学习 人工智能

从1990到2012年,机器学习逐渐走向成熟和应用,在这20多年里机器学习的理论和方法得到了完善和充实,可谓是百花齐放的年代。代表性的重要成果有:支持向量机(SVM,1995)、AdaBoost算法(1997)、循环神经...

关键字: 机器学习 流形学习 人工神经网络

1980年机器学习作为一支独立的力量登上了历史舞台。在这之后的10年里出现了一些重要的方法和理论,典型的代表是:分类与回归树(CART,1984)、反向传播算法(1986)、卷积神经网络(1989)。

关键字: 机器学习 算法 分类与回归树

机器学习算法可以按照不同的标准来进行分类。按照训练样本提供的信息以及反馈方式的不同,将机器学习算法分为监督学习、无监督学习和强化学习。

关键字: 机器学习 算法

编辑精选

技术子站

关闭