当前位置:首页 > 通信技术 > 通信模块
[导读] 一、激活函数(AcTIvaTIon FuncTIon) 为了让神经网络能够学习复杂的决策边界(decision boundary),我们在其一些层应用一个非线性激活函数。常用的函数有si

一、激活函数(AcTIvaTIon FuncTIon)

为了让神经网络能够学习复杂的决策边界(decision boundary),我们在其一些层应用一个非线性激活函数。常用的函数有sigmoid、tanh、ReLU(RecTIfied Linear Unit 线性修正单元)和以及这些函数的变体。

二、Adadelta

Adadelta 是基于梯度下降的学习算法,可以随时间调整每个参数的学习率,它比超参数(hyperparameter)更敏感而且可能会降低学习率。Adadelta 类似于 rmsprop,而且可被用来替代 vanilla SGD。

论文:Adadelta:一种自适应学习率方法

三、Adagrad

Adagrad 是一种自适应学习率算法,能够随时间跟踪平方梯度并自动适应每个参数的学习率。它可被用来替代vanillaSGD (#sgd),稀疏数据上更是特别有用,可以将更高的学习率分配给更新不频繁的参数。

论文:用于在线学习和随机优化的自适应次梯度方法

四、Adam

Adam 是类似于 rmsprop 的自适应学习率算法,它通过使用梯度的第一和第二时刻的运行平均值(running average)直接估计,并具有偏差校正功能。

论文:Adam:一种随机优化方法

五、仿射层(Affine Layer)

这是神经网络中的一个全连接层。仿射(Affine)的意思是前面一层中的每一个神经元都连接到当前层中的每一个神经元。在许多方面,这是神经网络的「标准」层。仿射层通常被加在卷积神经网络或循环神经网络做出最终预测前顶层。仿射层的一般形式为 y = f(Wx + b),其中 x 是层输入,w 是参数,b 是一个偏差矢量,f 是一个非线性激活函数。

六、注意机制(Attention Mechanism)

注意机制由人类视觉注意所启发,是一种关注图像中特定部分的能力。注意机制可被整合到语言处理和图像识别的架构中,以帮助网络学习在做出预测时应该「关注」什么。

七、Alexnet

Alexnet 是一种卷积神经网络架构的名字,这种架构曾在 2012 年 ILSVRC 挑战赛中以巨大优势获胜,它使导致人们重新关注对用于图像识别的卷积神经网络(CNN)。它由 5 个卷积层组成。其中一些后面跟随着最大池化(max-pooling)层和带有最终 1000 条路径的 softmax (1000-way softmax)的 3个全连接层。Alexnet 被引入到了使用深度卷积神经网络的 ImageNet 分类中。

八、自编码器(Autoencoder)

自编码器是一种神经网络模型,它的目标是预测输入自身,这通常通过网络中某个地方的「瓶颈(bottleneck)」实现。通过引入瓶颈,使得网络学习输入更低维度的表征,从而将输入压缩成一个好的表征。自编码器和 PCA 等降维技术相关,但因为它们的非线性本质,它们可以学习更为复杂的映射。目前已有一些范围涵盖较广的自编码器存在,包括降噪自编码器(Denoising Autoencoders)、变自编码器(VariationalAutoencoders)和序列自编码器(Sequence Autoencoders)。

降噪自编码器论文:

Stacked Denoising Autoencoders: Learning Useful Representationsin a Deep Network with a Local Denoising Criterion

变自编码器论文:

Auto-Encoding Variational Bayes

序列自编码器论文:

Semi-supervised Sequence Learning

九、平均池化(Average-Pooling)

平均池化是一种在卷积神经网络中用于图像识别的池化(Pooling)技术。它的原理是,在特征的局部区域上滑动窗口(如像素),然后再取窗口中所有值的平均值。它将输入表征压缩成一种更低维度的表征。

十、反向传播(Backpropagation)

反向传播是一种在神经网络中用来有效地计算梯度的算法,或称为前馈计算图(feedforwardcomputational graph)。它可以归结成从网络输出开始应用分化的链式法则,然后向后传播梯度。

论文:

Learning representations by back-propagating errors

十一、通过时间的反向传播BPTT:BackpropagationThrough Time

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

模拟器件是电子系统中不可或缺的一部分,它们用于处理模拟信号,实现信号的放大、滤波、转换等功能。本文将对模拟器件的种类、特点、应用以及发展趋势进行详细的探讨,旨在帮助读者更好地理解和应用模拟器件。

关键字: 模拟器件 电子系统 模拟信号

​模数转换器,即Analog-to-Digital Converter,常称ADC,是指将连续变量的模拟信号转换为离散的数字信号的器件。大部分现实世界的电信号是模拟信号,ADC构建了模拟世界数字世界的联系。本文就模数转换...

关键字: 数模转换器 数字信号 模拟信号

工业现场经常要采集多点数据,模拟信号或开关信号,一般用到RS485总线,RS-485采用半双工工作方式,支持多点数据通信。RS-485总线网络拓扑一般采用终端匹配的总线型结构。

关键字: RS485通信 模拟信号 开关信号

Holtek持续精进模拟信号处理器产品范畴,宣布新推出HT82V47四通道CIS模拟信号处理器。采用3.3V作为主要电源,适合应用于中高速CIS传感器的扫描仪,如中高阶的文件扫描仪及多功能事务机等应用。

关键字: 模拟信号 处理器 扫描仪

你知道调制解调器吗?它的功能是什么?有什么作用?现如今很多人对调制解调器并不是很了解,下面三个皮匠报告将对其做一个详细的介绍,希望对你有所帮助。

关键字: 调制解调器 数字信号 模拟信号

VGA(Video Graphics Array)视频图形阵列是IBM于1987年提出的一个使用模拟信号的电脑显示标准。VGA接口即电脑采用VGA标准输出数据的专用接口。

关键字: VGA接口 模拟信号 VGA标准

VGA接口是电脑采用VGA标准输出数据的专用接口。VGA接口共有15个针脚,分成3排,每排5个针脚,颜色一般为蓝色接口,VGA接口输出的是模拟信号,绝大多数的显示设备都是支持此种接口。

关键字: VGA接口 DVI接口 模拟信号

模数转换器(ADC)将模拟信号——即温度、压力、电压、电流、距离或光强度等实际信号——转换为该信号的数字表示。然后,系统可以处理、控制、计算、传输或存储此数字表示。

关键字: 模数转换 模拟信号 微控制器

压力传感器是工业实践中最为常用的一种传感器。一般普通压力传感器的输出为模拟信号,模拟信号是指信息参数在给定范围内表现为连续的信号。 或在一段连续的时间间隔内,其代表信息的特征量可以在任意瞬间呈现为任意数值的信号。而我们通...

关键字: 压力传感器 电信号 模拟信号

压力传感器是工业实践中最为常用的一种传感器。一般普通压力传感器的输出为模拟信号,或在一段连续的时间间隔内,输出为数字信号。而通常使用的压力传感器主要是利用压电效应制造而成的,这样的传感器也称为压电传感器。

关键字: 压力传感器 模拟信号 电桥
关闭
关闭